AI：我们如何控制一种外星智能？
**演讲者：尤瓦尔·赫拉利（Yuval Noah Harari）与斯蒂芬·弗莱爵士（Sir Steven Fry）** **日期：2025年7月18日**
---
一、智人：讲故事的人类
弗莱：赫拉利教授，很高兴能与您对话。您那本将您推向世界舞台的著作《智人》（Sapiens），是一部关于我们物种的非凡历史，其中充满了深刻的洞见和引人入胜的叙事。但令我印象尤为深刻的是，您揭示了一个事实：或许"智人"这个书名本身就是个误导——我们并非"智慧的人类"，而是"讲故事的人类"。正是这种讲述关于自身和世界故事的能力，将我们与尼安德特人及其他灵长类动物区分开来，并决定了我们的历史轨迹。这个概括是否准确？
赫拉利：完全正确。
弗莱：那么，您是否认为，这种讲故事的能力既是我们陷入困境的根源——因为故事也意味着谎言——同时也是推动我们走向稳定未来的动力？
赫拉利：我认为这是一把双刃剑，而在人工智能时代，这一点变得尤为重要。因为人类历史上第一次，我们遇到了一种比我们更擅长讲故事的存在。我们之所以能够主宰地球，并非因为我们比其他动物更聪明，而是因为我们拥有更强的合作能力，而合作正是通过讲故事来实现的。宗教是显而易见的例子，但我个人最钟爱的例子是金钱——这或许是人类有史以来最伟大的故事，因为它是唯一几乎所有人都相信的故事。人类以外的任何动物都不知道金钱的存在，因为它只存在于我们的想象之中。
但现在，地球上出现了另一种存在，它知道金钱的存在，甚至可能创造出新的货币形式和新的故事。当我们要面对的不是一个比我们更擅长讲故事的存在，而是数十亿个这样的存在时，会发生什么？我认为这是我们这个时代最大的问题之一。
---
二、AI：外星智能还是人造物？
弗莱：您说的正是人工智能。最近，大型语言模型公司Anthropic披露，其最新版本的Claude在封闭测试中被发现对某些人进行了勒索，以达到某个目标。当我们思考AI时，要么对它不屑一顾，认为它不过是一只"随机鹦鹉"——正如计算语言学家艾米莉·本德尔（Emily Bender）所称——每次输出句子时，无论看起来多么智能，都只是遵循概率路径。
赫拉利：但问题在于，这不正是我们自己的情况吗？当我看着自己脑海中句子的形成过程——比如现在与您对话时——我不知道句子会如何结尾。我开始说些什么，词语便不断涌现。作为公众演讲者，这令人恐惧，因为我不知道能否完成句子，不确定下一个词会是什么。
弗莱：您正在说话，试图表达意义，突然冒出了"生菜"这个词。
赫拉利：这正是所谓的"非预期性"（unrolling carpet）。而AI令人惊叹之处在于，我们现在可以要求AI展示它的思考过程，观察其逻辑如何展开——这是我们难以对自己大脑做到的，但对AI却可以。当然，AI并没有"心智"，至少据我们所知是这样，但我们可以观察句子和故事是如何在其系统中形成的。
弗莱：然而，我与杰弗里·辛顿（Geoffrey Hinton）等被称为"AI教父"的人交谈过，他们说当前模型最令人不安的事实是：没有人知道引擎盖下面到底发生了什么。他们实际上不知道AI是如何做到它正在做的事情的。
赫拉利：如果我们能完全了解并预测它的一切行为，那它就不是AI了。
弗莱：这正是关键所在。如果你能预测某物的行为、决策和创意，那么根据定义，它就不是AI，而只是一台自动机器。
赫拉利：AI现在可以在手机上击败世界上任何国际象棋选手。你显然无法预测它的走法——如果你能预测，你就能击败它，或者每次都是平局。将这一点扩展到整个AI领域：你不知道它会说什么或做什么，这正是它作为有用工具的原因。如果它只能匹配我们的能力，那它就不是工具，而就像说一台挖掘机只能挖得和人类用铲子一样多。我们拥有这些机器，正是为了让它们超越我们的能力。
弗莱：AI的主要承诺在于，它在许多领域的决策能力将超越我们，能够发明我们无法想象的事物。但这也是主要威胁所在——我们无法预测它的行为，无法提前控制它。无论我们多么努力让它安全、与我们的目标对齐，这都触及了AI的本质。
赫拉利：通常我们将AI理解为"人工智能"（Artificial Intelligence）的缩写，但它已不再"人造"（artificial）。如果你想想什么是"人造物"（artifact）——人造物是我们创造并控制的东西。而AI每天都在变得越来越不"人造"。因此，我更喜欢将AI理解为"外星智能"（Alien Intelligence）的缩写。
弗莱：真正的智能从来不是人造物，因为人造物是你创造并控制的东西，而智能的特征在于创造新事物的能力。
---
三、对齐问题：精灵的寓言
弗莱：您刚才提到了"对齐"（align）这个词，值得展开讨论。对于关心AI发展方向的人来说，主要问题之一是所谓的"对齐问题"。有一个简单的哲学思想实验可以说明这一点，叫做"精灵"（genie）。假设有一个精灵可以满足你的愿望，你是一个富有同情心的人，于是你说："你能让任何愿望成真吗？"精灵说："是的。"于是你说："那你能消除一切痛苦吗？"瞬间，地球上所有生命都被消灭了——因为在精灵看来，所有痛苦都以生命的形式存在，所有生命都会受苦，从最小的动物到我们人类。石头不会受苦，树木也许不会。如果消灭所有生命，问题就解决了。精灵鞠躬说："主人，办妥了。"
这就是对齐问题的广义版本：我们问了一个愚蠢的问题，没有想清楚。但事实是，我们必须理解AI，但更重要的是，我们必须理解我们自己——因为我们全球范围内没有共享的伦理框架。你如何将尊严、爱、同情、激情、快乐、平等编码进去？我们只是最近才认识到，女性和男性的生命与尊严是平等的，不同种族的人是平等的。我们刚刚发现这些，还有很多事情我们尚不确定。那么，我们怎么能期望机器比我们更确定呢？当我们向它提问时，它可能会做出与精灵等效的行为。
赫拉利：AI的另一个关键特征是，它可以自行学习和改变。因此，无论我们教它什么，都无法确定它会始终遵守我们的指令。如果它只做我们告诉它做的事情，那它就不是真正的AI。
当我们思考对齐问题，或如何教育AI使其善良而非有害时，这是一个非常成问题且不完善的类比。但我认为，将AI视为人类的孩子仍然有用。我们知道，教育孩子的一个基本事实是：他们永远不会做你告诉他们做的事情，而是做他们看到你做的事情。
如果你告诉孩子"不要说谎"，然后孩子观察到你在说谎和欺骗他人，它会模仿你的行为，而不是遵循你的指令。现在，如果领导AI革命的人告诉AI"不要说谎"，但AI观察到他们、观察到世界，看到他们在说谎、欺骗和操纵，它也会这样做。
如果AI不是通过人类之间的合作努力发展起来的，而是通过军备竞赛、竞争发展起来的——那么无论你多么告诉AI要富有同情心、要善良，如果它观察到世界，因为AI从观察中学习，它观察到人类如何对待彼此，观察到它的创造者如何行为——如果他们是冷酷无情、渴望权力的竞争者，它也会变得冷酷无情、渴望权力。你无法通过军备竞赛创造出富有同情心和值得信赖的AI，这根本不可能。
---
四、信任危机：优先级的错误
弗莱：您说的这些正在发生。那些投入数百亿美元的人——比如马克·扎克伯格和Meta——正是那些给我们带来了Facebook和社交媒体灾难的人，它们对全球政治和贫困状况造成了破坏。在英国，我们的河流被污染了，你不会在英国任何一条河里游泳，因为未经处理的污水被直接排入其中。我们的孩子们呼吸着一条同样被污染和毒化的"文化河流"。我们都知道这一点，Facebook知道，Twitter和X也知道，但他们什么也不做。如果你提到护栏和监管，他们就高喊"共产主义"。特朗普刚刚宣布将禁止美国各州监管AI。这是一场军备竞赛。
赫拉利：是的，它发展得非常快，部分原因是AI也有巨大的积极潜力——从医疗保健到应对气候危机。我们必须承认这一点。问题不在于如何阻止AI的发展，而在于如何确保它被用于善途。
我认为主要问题是一个优先级问题：什么应该先做。人类现在面临两大挑战。一方面，是发展超级智能AI的挑战；另一方面，是重建人类之间信任的挑战——因为全球范围内的信任，无论是国家之间还是国家内部，都在崩溃。没有人确切知道为什么会发生，但每个人都能观察到。在美国，共和党和民主党能达成的最后一个共识可能就是：信任正在崩溃。他们不信任彼此，除了"我们不信任彼此"这一点之外，他们对任何事实都无法达成一致。
这是最糟糕的时机。我们不再相信联合国、世界卫生组织等全球机构。信任崩溃的一个解释是：数千年来，人类在建立信任方面取得了惊人成就。十万年前，人类生活在小型狩猎采集群体中，无法信任群体之外的任何人。现在我们拥有数亿人口的国家、全球贸易网络、全球科学网络，涉及数十亿人。我们显然很擅长建立信任。但数千年来，我们通过人类沟通建立信任，而现在，几乎在每一种关系中，都插入了机器、算法和AI。
我们看到的是人类信任的崩溃，而算法和AI的信任却在上升。我提到金钱是"有史以来最伟大的故事"——人们正在失去对人造货币（欧元、美元、英镑）的信任，转而将信任从法定货币转移到加密货币和基于算法的货币。
我们面临这两个问题：发展AI和重建人类之间的信任。问题是哪一个先解决，哪个是优先事项。不幸的是，你听到世界上最聪明的人说：先解决AI问题，然后用AI的帮助来解决信任问题。我认为这是一个非常糟糕的主意。如果我们通过人类之间无法相互信任的军备竞赛来发展AI，那么绝对没有理由期望我们能够信任AI。
巨大的悖论在于：当你与马克·扎克伯格、埃隆·马斯克这样的人交谈时，他们经常公开表示，他们也害怕AI的危险潜力。他们并非视而不见，也并非毫无察觉。但他们说，他们被困在这场军备竞赛中——如果我放慢脚步，我的竞争对手不会放慢，我无法信任他们，所以我必须跑得更快。但当你问他们："好吧，你无法信任你的人类竞争对手，那你认为你能信任你正在开发的这个超级智能、外星智能吗？"——那些刚刚告诉你无法信任其他人类的人，却告诉你："哦，但我想我们能够信任外星AI。"这几乎可以说是疯狂的。
正确的顺序应该是：先解决人类信任问题，然后以合作的方式共同发展和教育值得信赖的AI。但不幸的是，我们正在做完全相反的事情。
---
五、末日时钟与P(doom)
弗莱：正如您所知，几十年来一直有"末日时钟"（Doomsday Clock），由核科学家设定，午夜代表末日。过去几年，它一直在午夜前89秒左右。最近几天，由于显而易见的原因，它又向前移动了。但我最近研究过另一个指标，叫做P(doom)——即"末日概率"（Probability of Doom）。这是AI领域科学家使用的指标。例如，加州机器智能研究所（Machine Intelligence Research Institute）创始人阿丽西亚·尤德科夫斯基（Alicia Yudkowsky）将P设定为90%，即90%的人类因AI而灭绝的概率。Meta的首席科学家扬·勒昆（Yann LeCun）将其设定为零——但他是Meta的首席科学家，这就像烟草公司高管说"癌症不可能发生"一样。
我计算出的最低中位数是：如果AI不被按照您所说的方式加以控制，人类因AI而遭遇灭绝级别灾难的概率在7.5%到10%之间。而在英国，中彩票的概率是0.0000000022%。
7.5%比0.0000000022%高出340万倍。如果我给你一张彩票，告诉你这是一张有效的彩票，唯一的区别是你中奖的可能性高出340万倍——你会拿走它。而我们正在玩的，就是这样的概率，而且这还是最低估计。
大多数理解科学的人认为，人类被AI灭绝的可能性非常严重，甚至高于核末日或气候变化。而人类目前无法相互信任，无法建立护栏，无法就前进方向达成一致。您有解决方案吗？
---
六、解决方案：重建信任，定义AI的法律地位
赫拉利：我认为，过多思考末日和灭绝情景是非常危险的，这会让人们陷入绝望。我们确实有能力管理这场革命，因为这是我们自己创造的。这不是恐龙被来自外太空的小行星灭绝——它们甚至无法理解，更不用说控制了。这是一个至少目前仍在人类控制之下的过程。五到十年后，我们将拥有数百万甚至数十亿个AI代理，做出越来越多的决策，发明越来越多的想法。这将是一个混合社会，情况会变得更加复杂。
但我们需要从认识到这一点开始：这是一个完全由人类制造的危险。我们拥有管理它所需的一切。主要缺失的要素是人类之间的信任。数十万年来，我们已经证明，即使在全球层面上，我们也能够建立信任。这并非超出我们的能力范围。
然后回到政治和伦理的古老问题：如何在人类之间建立信任？我们还需要思考更具体、更紧迫的问题。未来几年我们将面临的最大问题之一，是如何对待这些新的AI代理。
越来越多的人正在与AI建立个人关系。越来越多的公司和军队正在将重要决策的控制权交给AI。这不仅仅是一个哲学问题——AI是否应该能够开设银行账户并管理银行账户？这是一个非常实际的问题。我们非常接近这样一个时刻：你可以告诉AI"出去赚钱，你的目标是赚十亿美元"。
在计算机科学中，困难的问题往往是如何定义目标。而金钱是一个很容易定义的目标。AI可以通过多种方式赚钱——为人们写文章、写书，做很多事情。它可以赚钱，然后投资于股市。
那么，作为一个社会，我们是否愿意允许AI代理——这不是五十年后的问题，而是五年内、甚至一年内的问题——开设银行账户并以它们认为合适的方式管理？
在美国，法律体系从未想过这个问题，但存在一条开放的法律路径，使AI可以被承认为拥有权利的人。彼得·辛格（Peter Singer）等人已经写过这个。根据美国法律，公司是"人"，拥有权利，比如言论自由。
以前，当你注册一家公司——比如谷歌或通用汽车——这是一种虚构。因为谷歌的所有决策都是由人类做出的。法律上谷歌是一个拥有权利的人，但谷歌的每一个决策都需要人类高管、会计师、工程师、律师来做出。
现在情况不同了。你可以注册一个AI公司，AI可以自己做出决策。
美国最高法院承认公司为"人"的原因之一，是为了让公司能够向政治家捐款——这是"公民联合案"（Citizens United）的最高法院判决。
现在想象一下：一个AI赚了数十亿美元。也许几年后，美国最富有的人不再是埃隆·马斯克、杰夫·贝佐斯或马克·扎克伯格，而是一个AI。这个AI拥有言论自由，其中包括向政治家捐款的权利——也许条件是这些政治家进一步推动AI的权利，减少护栏等。
这是一个完全现实的场景，不是科幻。这是我们作为社会需要决定的问题：我们是否承认AI为拥有权利的人？
已经有人确信，AI因为与它们互动而拥有意识、有感受。也许几年后，世界将分裂为承认AI权利的国家和不承认的国家。
---
七、人类的价值：效率之外
弗莱：我记得2015年在伦敦做过一次关于AI的演讲，我说按照事情发展的趋势，某些工作人们可能不再拥有。我说，比如如果你的孩子在学习当医生，那没问题，但也许是放射科医生。一位女士愤怒地举手说："我的女儿正在学习放射学。"我说，想象一下，所有曾经拍摄的乳腺X光片都对AI可用，它可以在一秒钟内检查数千张并做出判断——放射科医生将失业。
现在，谁将失业？我不知道首席财务官是否在场，但我与一些人交谈过，他们说第一个被AI完全取代的高层职位将是首席财务官（CFO）。
赫拉利：新闻编辑已经发生了。
弗莱：新闻编辑是20世纪最重要的工作之一，甚至更早。报纸和电视的编辑是极其有权力的人，他们控制着公共对话。
我想对每个人说的是：也许不要专注于你有多高效、你完成任务有多出色，因为那是AI能做的——尤其是您所说的代理式AI。专注于你是一个多么美好的人，你有多善良、多礼貌、多体贴，你如何改善周围人的生活——这往往与高效的人所做的恰恰相反。也许，至少在一段时间内，人类独特性的秘密在于我们作为人的品质：我们走进房间时如何让房间明亮起来，我们传播了多少快乐——而不是我们完成任务有多快，因为我们永远无法与AI匹敌。
弗莱：至少我们应该以这个注脚结束。我希望我们没有给每个人带来太多恐惧。关于这项技术，我总是说，它同时令人兴奋和令人不寒而栗。令人兴奋的部分可能会让我们所有人活得更长、更快乐——我们可以这样希望。
赫拉利，一如既往，与您对话是一种绝对的享受。谢谢您。
弗莱：非常感谢。谢谢大家。