当非人类智能威胁人类生存时，我们该怎么办？
—— 尤瓦尔·赫拉利访谈录
**日期：** 2025 年 3 月 27 日 **嘉宾：** 尤瓦尔·赫拉利（Yuval Noah Harari）
---
一、引言：关于人类终结的思考
在访谈伊始，主持人提及阅读赫拉利的新书《Nexus》后，不禁思考世界末日及人类物种灭绝的可能性。赫拉利表示，这确实是一种可能性，但并非注定发生。撰写警示书籍的目的，正在于说明这些危险情景并非不可避免，人类仍拥有阻止它们的权力和资源。
然而，赫拉利指出，人工智能（AI）与以往的技术有着本质区别。过去的技术，包括核武器，虽然具有毁灭性，但必须依赖人类做出决策。核弹本身无法决定轰炸谁或杀死谁，它始终是一个工具。而 AI 是历史上第一种能够自主决策的技术，这意味着它不再仅仅是工具，而是一个独立的行动者（agent）。同样，它也是历史上第一种能够自主创造新想法、甚至发明新武器的技术。
赫拉利用一个类比来形容这种风险：这就像是一枚能够发明更强大核弹的核弹，而那枚新核弹又能发明更强大的核弹。当然，这并不意味着 AI 天生邪恶，它拥有巨大的积极潜力，例如提供历史上最好的医疗保健，或帮助防止灾难性的气候变化。
二、人工智能：从工具到独立行动者
赫拉利强调，数字进化的速度远超有机进化。从阿米巴原虫到恐龙，有机进化花费了数十亿年；而数字进化快了数百万倍。如果将 GPT-4 视为阿米巴原虫，那么未来的“霸王龙”会是什么样？
主持人指出，未来的 AI 威胁可能不像《黑客帝国》或《终结者》中描绘的那样，即人工智能在街头游荡杀人。赫拉利认同这一观点，并进一步阐释了真正的危险形态。
三、真正的威胁：无处不在的非人类代理人
未来的威胁并非来自某个试图统治世界的巨型计算机，而是来自数百万甚至数十亿个新的非人类代理人。这些 AI 将填充越来越多的系统、官僚机构、公司、军队和政府职位。它们将在世界事务和人类生活中做出决策，而人类在这个过程中不仅会失去权力，还会失去理解世界的能力。
因为随着系统日益复杂，我们越来越无法理解这些 AI 是如何做出决策的。近年来，我们已看到 AI 在一定程度上接管了我们的文化和社会对话。社交媒体上关于推广何种内容的关键决策，正由算法做出。AI 被赋予的任务是增加用户参与度，而算法通过实验发现，愤怒、仇恨言论、假新闻和阴谋论最能带来参与度。这已成为社交媒体公司的“圣杯”。
这种机制已导致全球社会极化加剧，从印度到美国皆受影响。但这仅仅是开始。目前的算法推广的是人类创造的内容，还需要人类去发明阴谋论；而新一代 AI 将能够自主创造内容。
四、历史的教训：真理的代价与适应的成本
当被问及从历史技术革命（如印刷术、工业革命）中能学到什么最重要教训时，赫拉利提出了两点。
首先，如果你创造一个完全自由的信息市场，真理并不会自动胜出。真理往往比虚构、谎言和神话更复杂、成本更高、更痛苦。对于记者而言，编造一个虚构故事很容易，但写出真相需要投入大量时间、精力和努力。对于受众而言，连接一个真实的故事往往更困难，因为现实是复杂的，理解真相需要付出努力，而虚构故事可以做得尽可能简单。因此，如果想要真理获胜，必须倾斜天平，投入资源。
其次，人类虽然极具适应性，但适应的过程是昂贵且危险的。当人类开始发展工业技术时，没人知道如何建立一个好的工业社会。帝国主义曾是一种实验，许多人认为工业社会必须是帝国，以控制原材料和市场。这种思维蔓延至英国、法国、日本、俄罗斯和美国，导致数亿人遭受可怕后果。后来，共产主义和法西斯主义也是建立工业社会的巨大实验，同样付出了极高代价。
经过帝国主义、共产主义、法西斯主义和两次世界大战的尝试后，我们或许才找到了正确的道路。如果我们不得不再次经历这个过程，这次是针对 AI 和生物工程，那将是坏消息。因为我们不知道如何建立基于 AI 的社会，如果必须通过另一轮失败的实验、帝国主义、极权主义和世界大战才能找到答案，后果不堪设想。因此，历史教训是：不要只关注最终结果，更要关注过程。
五、文学的缺失：我们需要更多关于官僚体系的故事
主持人问及文学是否曾发出过警告，如玛丽·雪莱、菲利普·K·迪克等人的作品。赫拉利认为，科幻文学是当今时代最重要的文学体裁，因为它试图探讨各种可能性，警示危险并推测如何建立更好的社会。
但赫拉利指出，许多科幻作品只是将古老的故事用机器人重新演绎，例如用激光枪和宇宙飞船重演《罗密欧与朱丽叶》。这并没有揭示人类关系的新变化。真正的科幻需要深入挖掘技术如何从根本上改变人类之间的关系。
此外，赫拉利认为艺术在解释官僚体系方面存在巨大缺陷。虽然有卡夫卡和《第二十二条军规》，但在主流畅销书和爆款作品中，官僚体系的故事依然稀缺。这是一个问题，因为我们的生活主要由官僚体系管理。然而，当我们打开电视观看政治剧时，它们往往忽略官僚体系，转而讲述中世纪甚至石器时代的故事，聚焦于家族政治和基本的生物戏剧。
例如剧集《继承之战》（Succession），讲述子女争夺父亲关注的故事。这是进化在人类出现数百万年前就已塑造的重要故事，黑猩猩也懂。但这并不是理解 21 世纪政治运作的良好指南。如果人们没有这类故事作为参考，就无法理解世界，容易成为“深层政府”等阴谋论的受害者。事实上，控制世界的不是阴谋，而是官僚体系。
这种认知缺失也让我们更难改变系统，让人感到无助。赫拉利用一个生动的比喻总结道：“进化让我们做好了死于老虎的准备，却没让我们做好死于文件的准备。而今天，死于文件的人比死于老虎的人多得多。”
六、结语：做现实主义者，而非乐观或悲观主义者
最后，主持人询问赫拉利对未来是乐观还是悲观。赫拉利表示，他试图做一个现实主义者。
乐观主义意味着“一切都会好起来”，悲观主义意味着“我们 doomed（注定毁灭）”。这两种立场都会让我们放弃责任。如果一切都会好起来，何必采取行动？如果我们注定毁灭，何必浪费时间去行动？
现实主义则是理解到，作为人类物种，我们仍拥有资源、技术和智慧来应对重大挑战，无论是气候变化还是 AI 的崛起。以气候变化为例，防止灾难性气候变化的成本估计约为全球 GDP 的 2% 到 5%。这虽然是一笔巨款，但完全可行。如果是 50%，那我们就无能为力了。
赫拉利强调，我们不像 6500 万年前的恐龙，当小行星来袭时束手无策。我们可以将 5% 的资源从一个领域转移到另一个领域，这正是政治家们一直在做的事情。我们拥有改变的能力，关键在于是否愿意承担责任并采取行动。