安全与负责任的 AI？尤瓦尔·赫拉利与尼古拉斯·汤普森对话
**日期：** 2023 年 7 月 6 日 **嘉宾：** 尤瓦尔·赫拉利（Yuval Noah Harari）、尼古拉斯·汤普森（Nicholas Thompson）
---
一、引言与 AI 变革的三大特征
**尼古拉斯·汤普森：** 很高兴再次见到你，赫拉利教授。这是一个关于你深知领域的极端变革时刻。过去六个月，人工智能领域发生了巨大变化。你多年来一直警告 AI 的风险，甚至写过《AI 的民主》。随着大语言模型和生成式 AI 在最近几个月爆发，你的批评或担忧发生了什么变化？
**尤瓦尔·赫拉利：** 我认为事情发生的速度比我们预期的要快得多，甚至快于业内人士的预期。我认为每个人都应该真正了解三件事。你听到很多关于 AI 的讨论，但核心只有三点。
首先，这是人类历史上第一个能自行做出决策的工具。它与历史上任何发明都不同。以前的发明不会做决策，它们不能决定轰炸谁，但 AI 可以自行做出决策。
其次，这是人类历史上第一个能自行创造新想法的工具。印刷机或收音机不能创造想法，它们只能传播我们的想法，但 AI 可以创造全新的想法。
第三，人类并不擅长使用新工具、新技术。我们经常会犯错，需要时间才能学会如何以有益、明智的方式使用新工具。如果你看工业革命，许多人将其与当前的 AI 革命相比，这是一个相当悲观的比较。因为当人类学会使用工业革命的工具时，我们犯了一些可怕的错误：帝国主义、纳粹主义、共产主义、两次世界大战，这些都是在学习如何使用工业革命工具过程中的错误。如果我们在 AI 上犯类似的错误，这真的可能是我们文明的终结。
最后一点是，当我们在学习如何使用 AI 时，AI 也在学如何使用我们。因此，我们比历史上任何发明都拥有更少的时间和更少的容错空间。
二、开发不可停，部署需减速
**汤普森：** 我想把大部分对话时间用于讨论如何监管 AI，以减少风险。但让我们回到你刚才的观点：这在某种程度上是你所说的有史以来最危险的技术。然而，现在的 AI 并不完美。如果你去 OpenAI 输入“给我写赫拉利的传记”，它会出错，犯各种错误。它还没那么厉害。从这种“青春期混乱的聊天机器人”发展到我们最坏情况下的“世界毁灭者”，需要多长时间？
**赫拉利：** 我认为它不一定会发展成那种超级智能的“世界毁灭者”。AI 的危险不一定来自那种能预测和做一切的超级智能机器，它也可以来自我们已经拥有的原始 AI。
以社交媒体为例，看看它如何侵蚀我们的公共信任，如何侵蚀世界各地的民主机构。这是用非常原始的 AI 完成的。在社交媒体上，算法试图最大化用户参与度，算法通过试错发现，增加用户参与度、抓住人们注意力的最简单方法是传播愤怒。这是 AI 发现的人性弱点，它利用了这一点，摧毁了许多国家的信任、机构和公共对话。
我们现在面临一种理论上的困境：我们拥有历史上最复杂的信息技术，但人们却无法就任何事达成一致，无法进行有意义的对话。这是非常原始的 AI 造成的。所以我们不需要等待科幻电影中那种全能的 AI 出现才感到担忧。
当然，AI 也可以用于善。它是我们创造的最危险的技术，但也可能是最有益的技术。所以问题不在于完全禁止它（这也不可能），而在于监管它，确保它被用于善而非恶。
至于我们有多少时间，这很难说。十年前，人们谈论 AI，但对大多数人来说它还是科幻。整个 AI 革命不到 10 岁，它才迈出最初几步，但进展速度之快，没人知道 10 年后我们会在哪里。
**汤普森：** 如果过去六个月发生的变化是在五年内发生的，我们就有更好的机会弄清楚规范。如果 Facebook 算法的变化是在多年内发生的，我们也能弄清楚规范。有什么办法可以改变这种演变速度吗？我知道你签署了一封信，呼吁停止开发比 GPT-4 更大的模型，但这似乎没有效果。需要发生什么才能改变速度？
**赫拉利：** 我认为我们需要区分“开发”和“部署”。很难停止开发，因为我们有军备竞赛的心态。人们意识到危险，但不想落后。但真正关键的好消息是：关键是放慢部署，而不是开发。
你可以在实验室里拥有极其复杂的 AI 工具，只要你不把它部署到公共领域，危险性就较小。就像你在实验室里拥有非常危险的病毒，但不释放到公共领域，这是安全的，有安全边际。
同样，制药公司开发出强大的新药，不能不经安全检查就直接卖给公众；开发新车也不能不经安全检查就上路。AI 也应该一样。在将其部署到公共领域之前，我们应该更好地理解它对社、文化、心理学和世界经济的影响。
三、监管的具体路径与人才困境
**汤普森：** 让我们具体一点。假设我开发了一个比 GPT-4 更好的大语言模型，我想竞争，需要支付开发者和风险投资人的回报。我有这个软件，它能帮助全世界的医生，甚至非洲的医生能治愈病人。我需要去哪个监管机构？我甚至不理解这东西是如何工作的，制造 AI 的人也不完全确定它为何这样工作。哪个政府机构能看它一眼并说“这是安全的”？
**赫拉利：** 这是一个大问题。我们没有现成的监管机构，这正是我们需要尽快建立的。例如，你可以有一项法规，规定任何 AI 投资的 20% 必须用于安全和监管。我们没有监管 AI 的机构，因为我们没有投资它们。
如果你现在获得计算机科学博士学位并专攻 AI，政府给你一份薪水去法律部门，而私营行业给你十倍或一百倍的薪水，那么很明显大多数人会去哪里。所以我们需要在安全和监管上投入更多。
一个简单的概念性第一步是：规定每一笔 AI 投资中必须有固定比例用于安全。
**汤普森：** 你的意思是，如果我建立了我的大语言模型，雇佣了开发团队，我必须把五分之一的人放在安全部门？
**赫拉利：** 是的，就像开发汽车时，有人致力于让车跑得更快，但也有人致力于安全。因为你知道，即使你自己没有道德顾虑，你也知道没有政府会允许你的车上路，除非它是安全的。
**汤普森：** 这个论点很有说服力。但让我们回到你之前提到的社交媒体。假设 Facebook 或 Twitter 说他们有 20% 的人在做安全工作，他们在打击裸露内容，寻找圣战分子，花了很多时间在这上面。任何政府机构当时怎么能看那个算法并预测它随后几年对民主的影响？
**赫拉利：** 我认为没人能提前 10 年甚至 5 年预测。任何处理 AI 的监管机构都需要能够非常快地反应，在飞行中学习。当人们开始看到社交媒体算法的声音时，比如在 2016 年、2017 年的缅甸，有人拉响了警报，但公司没有反应。不是因为没人理解发生了什么，而是没有响应。
如果所有人才都只去开发技术的私营公司，那就输了。但如果足够多的人才被鼓励并赋权去政府机构或 NGO，由他们来监管和检查安全（包括社会安全和心理安全），那么我们将处于更好的境地。
对于社会，尤其是民主社会，我认为这对科技公司本身也是好事。我们听到的来自私营企业的声音是：“我们理解我们在做的事情的危险，请帮助我们监管，因为靠我们自己，我们不信任自己。”他们理解市场内的军备竞赛动态，如果没有外部权威，几乎不可能自我监管。
四、社交媒体教训与全球竞争
**汤普森：** 我对大公司进来要求被监管有一个担忧。我们看到 Sam Altman 环游世界，微软的 Brad Smith 在华盛顿。我的担忧是，他们希望被监管可能出于道德关切，也可能出于如果监管严格，没人能和他们竞争。如果政府说“为了拥有 AI 公司，你必须有 20% 的人做安全，必须认证，必须有开关，必须有律师确保符合丹麦和美国法规”，只有大公司能做到。然后他们的权力增加了。GDPR 只增加了大型社交媒体公司的权力。我们会重蹈覆辙吗？
**赫拉利：** 这是一个非常好的问题，我不确定答案。但首先，目前已经需要大量的资源——金钱、数据、人员——来开发真正强大的模型，这已经是少数竞争者的游戏。如果你从全球角度看，只有少数国家引领这场 AI 革命。
这在联合国与各国代表交谈时显得极其危险。上一次类似情况发生在 19 世纪的工业革命。少数国家引领工业革命，然后很快征服和剥削世界其余部分。这可能再次发生在 AI 上，只是方式不同。在 AI 革命中，你不需要派士兵进入一个国家去征服它，你只需要拿走数据，就能控制它。
所以当我们谈论监管时，这不仅仅是国家政府与其公司的问题，也是一个全球性问题：那些不是 AI 竞赛竞争者的国家将如何面对后果？显然，技术将影响每个人，而不仅仅是领先者。
五、AI 不同于电力：它更像人类
**汤普森：** 让我们回到工业革命。电力被发明时，我们没有监管电力，我们监管电力的用途。你不能用电做某些坏事，但电力是公开的。我们监管火车，但不说监管铁轨。AI 不是更像电力而不是火车或汽车吗？它是底层技术，我们应该监管输出和用途，而不是技术本身。
**赫拉利：** 不，它比那更极端。正如我开头所说，AI 能自行做出决策，能自行创造新想法。它更像人类，而不是像火车。它潜在的政治、经济、文化颠覆人类社会的能力是巨大的。
许多我们谈论的监管在概念上其实很简单。它是拿非常古老的法律和规则，简单地应用到新的信息技术领域。例如，“不要偷窃”不是新发明。但科技巨头商业模式的一部分是说，信息技术世界、在线世界与物理世界完全不同。像“不要偷窃”这样的法律不适用于数据。我们可以拿走你的数据，做任何我们想做的事，这不是偷窃。
监管在很大程度上意味着：人类数千年来处理事物（比如麦田）的规则和规范，也适用于数字现实和数据。你不能拿走我的数据，用来操纵我或卖给第三方，除非我允许。
同样，数千年来我们有反伪造货币的法律。技术上伪造货币一直很容易，无论是硬币还是纸币。一旦货币成为金融系统的核心，为了保护金融系统，政府制定了非常严格的反伪造货币规则。在大多数地方，伪造货币会被处决，这是最严重的罪行之一。
现在，没人制定过反伪造人类的规则，因为这在技术上是不可能的。我们有反伪造货币的规则，但没有反伪造人类的规则。现在，历史上第一次，伪造人类成为可能。创造数十亿个虚假人类，你在线与人互动，不知道是真人还是机器人。
六、伪造人类与信任危机
**赫拉利：** 一年后，像我们现在这样的对话，几乎不可能确定你是在与深度伪造（Deepfake）还是真人交谈。如果允许这种情况发生，它将对社会造成伪造货币对金融系统造成的影响。如果你不知道谁是真人，谁是假人，信任将崩溃。民主将无法运作，也许独裁政权能勉强管理，但民主不行。
我们需要非常严格的规则反对伪造人类。如果你允许虚假人物出现在你的平台上，而没有采取有效的反制措施，那么也许我们不会处决你，但你会坐 20 年牢。看看科技巨头会多快地找到方法防止平台被虚假人物淹没。
**汤普森：** 你可以稍微放松监管吗？因为我最近和我的 12 岁孩子玩 SameCell 时创造了一堆假人，我很喜欢那个小家伙。
**赫拉利：** 我不是说不允许创造它们，而是不允许在公共场合把它们当作真人。与 AI 互动会很棒，比如 AI 医生，它可以非常有帮助，前提是必须清楚这不是人类医生，而是 AI 医生。当我与 AI 医生、记者或任何角色互动时，我需要知道它是真人还是 AI。
**汤普森：** 如果是客服代表呢？如果你丢了行李，打电话给联合航空，你需要拿回包，你在乎吗？
**赫拉利：** 我需要知道它是真人还是不是。如果有一个两秒的提示音：“您即将连接到 AI 客服”，然后我进行对话，它提供了我需要的东西，我没有任何问题。
**汤普森：** 好的，那如果是这种情况呢？我们在 Twitter 上辩论，我和你来回交流。假设 Twitter 有旧的验证系统，基于真人。我们都验证了，出示了驾照。但每次你说什么，我打开另一个浏览器，输入 OpenAI：“嘿，我该回什么才能最有力地说服他？”我需要声明吗？
**赫拉利：** 我不确定。我的直觉反应是，这没问题。人们以不同方式在做这件事。至少在你描述的情况下，你对你所说的话负责。如果你说了诽谤性的话，你是负责的，有一个真人承担责任。那是你在赌 AI 告诉你的话。如果你盲目地说 AI 告诉你的话，那是你的责任。
但部分问题在于数量。目前，在社交媒体上，我们不确定有多少用户是机器人。但机器人可以每小时发数百条推文，这是大多数学生做不到的。即使机器人显然是 Twitter 用户的小百分比，它们创造了大量的对话或通信量。
现在，如果有一个社交媒体平台，不仅仅是机器人转发人类创造的内容，而是有数百万甚至数十亿个机器人，能以多种优于人类的方式创造内容——更有说服力、更吸引人、更针对你的特定个性和生活历史——如果我们允许这种情况发生，那么人类基本上完全失去了对公共对话的控制。民主将变得完全不可行。
如果你想在线与机器人谈论政治，好吧，我不能阻止你。但为了维护民主社会，我们需要防止对话被无限数量的机器人淹没和劫持的情况。
七、地缘政治：民主与专制的博弈
**汤普森：** 这很有道理。让我给你一个不同的监管框架，我从一些人那里听到过。监管坏事太难了，我们不知道这些东西如何工作，无法设想它们会做什么。如果我们试图防止所有坏事，我们只会允许监管俘获，而且可能无法防止。所以政府应该做的是尽可能支持好的用途。正如你所说，AI 会被用于善，也会被用于恶。如果有更多用于善的，也许能抵消。如果这是逻辑，政府应该建立一个 AI 可以训练的数据集，只允许非营利组织、大学或他们认证的公司访问，因为它们在做好事，比如教孩子化学、尝试治愈艾滋病或促进文明对话。你怎么看这个框架：政府应专注于支持善，而不是阻止恶？
**赫拉利：** 我完全支持支持善，例如建立一个政府数据库，对 NGO 等开放，以便能与私营部门竞争。但这不能替代监管至少最危险的 AI 潜力。
就像在医学领域，我们专注于做好事，但如果我们现在取消所有医学监管，任何人都可以创造新药开始卖给人们，或者任何人都可以在实验室实验病毒然后释放到公共领域看会发生什么，这将是灾难性的。
用 AI 这样做，取消所有监管，我的猜测是这将更加灾难性。部分原因是 AI 今天已经能够合成新药和新病毒。你可以问 AI 为你合成一个新病毒，问它创造最大伤害的最佳方式是什么，如何传播等等。
所以，我们显然不能只依赖做好事。历史上有很多善恶失衡的情况。比如战争与和平，需要很多人去维护和平，但有时只需要一个人就能发动战争。如果我们不监管负面潜力，AI 肯定将为人类做的所有好事，可能不足以抵消灾难。
**汤普森：** 我们时间很短了，但让我问最后一个难以回答的大问题。支持西方和民主应快速推进 AI 的论点之一是，我们本质上处于地缘政治竞争中。如果民主国家试图确保每个人都是真实的，有政府委员会，必须认证 20% 的时间用于安全，然后朝鲜说“让我们去”，或者更可能是中国说“让我们去”，那么 AI 将以完全不同的方式发展。事实上，在非民主国家建立的 AI 机器人和系统变得强大得多，从而转移世界权力。
**赫拉利：** 关于这一点有很多话要说，但只剩两分钟了。首先，我谈论的是停止部署，而不是开发。如果我们不监管部署，这肯定会比任何朝鲜暴君的计划更快地摧毁民主。我们需要监管来拯救民主。如果我们没有监管，我们将毁灭自己。
还要考虑到，独裁政权也害怕新的 AI，特别是新的大语言模型。因为独裁政权依靠恐惧来管理信息系统。你讲一个关于领导人的笑话，或者说一些政权不想听的话，你就去流放西伯利亚。
但你怎么吓唬一个 AI？如果你对 AI 说这个笑话，如果你能继续讲关于我们领导人的笑话，或者揭露我们过去没人知道的事情，你会去 AI 那里。他们不知道如何阻止 AI 窃取豆子（泄露秘密）。他们可以阻止 AI 访问，但这将非常困难，这将导致他们实际上落后。
在这种情况下，民主更有优势，因为它们不是受威胁，而是拥有更大的知识储备，能够更好地在信息系统中的一定污染下生存。对独裁政权来说，这要困难得多，因为它们倾向于依赖信息系统中零反对声音。你怎么阻止 AI 发出有问题的想法？没人知道。他们害怕。
**汤普森：** 我们时间到了。我希望日内瓦的每个人都没有污染他们的信息环境。我觉得和你谈话时，这只是在清洁信息环境。这是一次荣幸，一次乐趣，和你谈话总是很迷人。在这个时刻，这非常重要。非常感谢。
**赫拉利：** 谢谢大家。祝大家下午愉快。