AI 与信任悖论
**演讲者：** 尤瓦尔·赫拉利 (Yuval Noah Harari) **日期：** 2025-06-30
引言：三个核心问题
大家好，很荣幸来到这里，感谢大家的邀请。由于时间有限，在这次简短的演讲中，我想提出三个重大问题：
第一，什么是人工智能？ 第二，人工智能的危险何在？ 第三，人类如何在人工智能时代繁荣发展？
一、什么是人工智能？
围绕人工智能的炒作甚嚣尘上，以至于这个术语现在被不准确地应用于几乎每一台机器，我们很难弄清它真正的含义。因此，我必须非常明确地指出：**人工智能并不意味着自动化，人工智能意味着能动性（Agency）。**
人工智能不是我们手中的工具，人工智能是一个行动者（Agent）。要成为人工智能，机器仅仅能够自动行动是不够的，它还必须具备自主学习和改变的能力，具备自主决策的能力，以及自主发明新想法的能力。
举个简单的例子，考虑一台咖啡机。如果你按下按钮，机器按照预设程序自动为你制作一杯浓缩咖啡，这不是人工智能。机器没有学习，也没有创造任何新东西。
但是，假设当你走近机器时，甚至在你按下任何按钮之前，机器就说：“我已经监测你几周了。基于我对你以及许多其他人类所学到的一切，我预测你会想要一杯浓缩咖啡。所以，我已经为你做好了一杯。”
这就是人工智能。它自主学习了某些东西，并自主做出了决定。如果第二天机器宣布：“我现在发明了一种新饮料，我认为你会比浓缩咖啡更喜欢它。来，尝尝看，我已经为你做好了一杯。”
除了能动性之外，人工智能的另一个关键特征是它是一个**异质的非有机行动者（Alien Nonorganic Agent）**。它的智能不是人类的，甚至不是有机的。它会做出人类不会想到的决策，发明人类不会想到的想法。
一个非常著名的例子是 2016 年人工智能“阿尔法狗”（AlphaGo）击败人类围棋冠军李世石的方式。这场比赛之所以闻名，不仅因为人工智能击败了人类围棋大师，更因为为了获胜，阿尔法狗发明了人类在数千年的围棋文化中从未想过的全新异质策略。
只要人工智能只是发明新的游戏方式或新的咖啡种类，这似乎并不重要。然而，人工智能可能很快就会发明新的军事和金融策略，新的武器和货币种类，甚至全新的意识形态和宗教。
二、人工智能的危险何在？
当然，人工智能拥有巨大的积极潜力，它可以在无数方面帮助人类，从发明新药到帮助防止灾难性的气候变化。但人工智能也带来了许多威胁。
人工智能的基本问题在于，它是一个异质的行动者，因此是不可预测且不可信任的。在开发超级智能人工智能的竞赛中，核心存在着一个**信任悖论**。
人类发现很难信任其他人类。但我们中的一些人却认为我们应该信任人工智能。当我环游世界，会见那些领导人工智能发展的人时，我通常会问他们两个问题。
首先，我问他们为什么尽管风险巨大，他们还要如此快速地推进？ 几乎所有人的回答都是：我们同意存在巨大的危险，最好谨慎行事，并在安全方面投入更多。然而，如果我们放慢脚步而竞争对手不慢，他们就会赢得人工智能竞赛，世界将被最无情的人所主导。我们无法信任人类竞争对手，所以我们必须尽可能快地行动。
然后我问第二个问题：你认为你能信任你们正在开发的超级智能人工智能吗？ 那些刚刚告诉我他们无法信任人类竞争对手的同一群人，现在却向我保证，他们可以信任他们正在开发的超级智能人工智能。这是一个巨大的悖论。
我们对人类有数千年的经验。我们对人类心理学和生物学有广泛的了解，对人类对权力的渴望以及制约权力追求的力量有深刻的认识。我们在寻找建立人类之间信任的方法方面也取得了相当大的进展。
十万年前，人们生活在只有几十个人的小群体中，无法信任群体之外的任何人。而今天，相比之下，有像中国这样拥有 14 亿公民的国家，还有连接地球上所有 80 亿人类的合作网络。完全的陌生人经常种植维持我们生存的食物，发明保护我们的药物。当然，我们远未完全解决人类信任的问题，但至少我们理解我们所面临的挑战。
相比之下，我们对人工智能几乎没有经验。我们刚刚创造了第一个原型。我们已经知道，即使是原始的人工智能也会撒谎、操纵，并采用人类开发者未曾预见的目标和策略。我们完全不知道当数百万超级智能人工智能行动者与数百万人类互动时会发生什么。更难预测的是，当数百万超级智能人工智能行动者彼此互动时会发生什么。
诚然，由于目前是人类开发人工智能，我们可以尝试设计它们以确保安全。但请记住，只有当机器能够自主学习和改变时，它才是人工智能。因此，无论人类最初如何设计它们，人工智能随后都可能以激进且不可预测的方式发生改变。
思考人工智能革命的一种方式，是将其与外星入侵进行比较。假设有人告诉你，装满高智能外星人的宇宙飞船正在接近地球，并将于 2030 年降落在我们的星球上。我们希望这些外星人是友好的，会帮助我们克服癌症，防止气候变化，建立一个繁荣和平的世界。但大多数人直觉地理解，将我们的未来寄托于这些外星人的善意是危险的。
同样，假设我们可以简单地信任我们开发的人工智能行动者会一直做我们顺从的仆人，这是一个巨大的赌博。那些对人类绝望，却希望更容易信任人工智能的人类，可能正在犯一个非常大的错误。
三、人类如何在 AI 时代繁荣？
答案是简单的：**人类团结一致，可以控制人工智能；但如果我们彼此争斗，人工智能将控制我们。** 因此，在我们开发真正的超级智能人工智能行动者之前，我们应该在人类之间建立更多的信任。不幸的是，目前我们做的恰恰相反。全世界范围内，人类之间的信任正在崩溃。
信任危机源于一个巨大的误解。 太多国家认为，强大意味着不信任任何人，意味着与他人完全隔绝。但完全隔绝是不可能的。事实上，在自然界中，完全隔绝就是死亡。
以人体为例。每一分钟，我们都在呼吸。吸气和呼气。我们每一次呼吸，都是对外部世界的一种小小的信任姿态。我们从外部将空气吸入肺部，吸入体内，然后再将其归还给宇宙。这种信任的进出运动是生命的节奏。如果我们不信任外部的一切，因此停止这种进出运动，我们就会死亡。
这对整个国家也是如此。每个国家都是传统和思想的不同组合。但其中许多传统和思想来自外部，就像我们呼吸的空气一样。例如，中国在数千年来向其他国家贡献了太多东西，从孔子和马的思想，到茶叶、火药和印刷术。它也从其他地方接收了太多东西，从佛陀和卡尔·马克思的思想，到咖啡、足球、火车和计算机。
如果任何国家的人只局限于本国起源的食物、游戏和思想，我们的生活将会非常贫乏，甚至不可能。
每个人都属于某个群体，但每个人也属于整个人类物种。在人工智能时代，如果我们忘记共同的人类遗产，失去对外部一切和所有人的信任，那将使我们成为失控人工智能的极易捕食的对象。
太多人认为历史的遗产主要是痛苦和恐惧。人们在历史书中读到过去的战争、暴行和不公，因此他们 clinging 于过去的痛苦，恐惧未来的痛苦。他们环顾其他人和其他国家，眼中只有焦虑。
虽然恐惧和痛苦当然对生存很重要，虽然它们有时保护我们免受危险，但没有人能仅靠恐惧和痛苦生存。历史告诉我们，信任比两者都更重要。
你知道为什么地球由人类统治，而不是由黑猩猩或大象统治吗？ 不是因为人类更聪明。人类统治世界是因为我们比任何其他动物都更懂得如何与陌生人建立信任，并进行大规模的合作。我们发展这种能力已经数千年了。现在，在人工智能时代，为了生存和繁荣，这比以往任何时候都更重要。
**我们需要比信任人工智能更信任其他人类。**