无论如何，用人工智能取代人类领导都是危险的和反民主的。危险不仅在于接管人类的人工智能可能会毁灭人类，还在于它的统治或它所声称的统治是为了人类的最大利益。这是科幻小说的经典路数[例如电影《我，机器人》(I,Robot）或尼尔·阿瑟尔(Neal Asher）的小说《政体》(Polity）]，也是所有民主理想的危险所在：正如达姆尼亚诺维奇（Damnjanović2015）所言，它摧毁了自由民主，因为它摧毁了公民自主意义上的自由，最终它也使我们失去了政治本身。只有对柏拉图进行非常特殊的诠释才可能会去支持这种设想，在这种诠释中，人工智能将扮演人工哲学王的角色（或许结合现代功利主义论点，旨在实现全人类效用最大化，或结合霍布斯的论点，旨在实现人类的生存与和平)。这样，国家之船的船长或掌舵人（kybernetes）届时变成了自动驾驶员。或许它甚至可以为整个人类和地球导航。我们在此讨论的所有民主理论都对这种设想提出了正确的批评。我们也不清楚这样的人工智能是否会拥有实际上的权威，无论其是否正确和公正。
从技术哲学的角度来看，这种情景和讨论表明，人工智能不仅仅是一种技术，而且始终与道德和政治可能性相关联。它们说明了人工智能的非工具性：人工智能不仅是政治的工具，而且会改变政治本身。此外，即使人工智能是在民主框架内使用的，当决策是基于人工智能的建议时，也会出现责任和合法性问题，特别是如果这些决策的作出并不透明，或者在决策过程中引入或复制了偏见。一个众所周知的例子是，人工智能帮助美国法官处理刑事判决、假释和获得社会服务资格等事项（见第三章提到的COMPAS案例）。对于一个民主国家来说，公共责任至关重要：对公民作出决定的公职人员应该承担责任，如果他们高度依赖人工智能作出决定，如果人工智能作出决定的方式既不透明也不中立，那么如何保持这种责任感就不清楚了。后者也很重要，因为正如第二章末尾提到的，人们可以将平等视为民主的一个条件。从这个角度看，如果我们被一个垄断的科技行业所控制，其控制了数据及其流动，从而最终控制了人民，这也是非常有问题的。尼米兹（Nemitz 2018）对当今的数字权力集中提出了批评。他认为，人工智能带来的挑战不能仅靠人工智能伦理来解决，而是需要通过一种经由民主进程产生的具有强制力和正当性的规则来应对。他呼吁建立一种民主的人工智能文化。
第四章 民主：回音室与机器极权主义
103