避免 AI 反乌托邦：尤瓦尔·赫拉利与阿扎·拉斯金对话录
**日期：** 2024-10-11 **主办：** 英联邦俱乐部世界事务中心与人性化技术中心 **主持人：** 希琳·加法里（Shirin Ghaffary，彭博新闻 AI 记者） **嘉宾：** 尤瓦尔·赫拉利（Yuval Noah Harari，历史学家、畅销书作家）、阿扎·拉斯金（Aza Raskin，人性化技术中心联合创始人）
---
一、开场与“暂停 AI"倡议的反思
**主持人：** 欢迎大家来到今晚的节目。我是希琳·加法里，彭博新闻的 AI 记者，也是今晚对话的主持人。很高兴为大家介绍今晚的两位嘉宾。
尤瓦尔·赫拉利是一位历史学家、公共知识分子和畅销书作家，其著作已翻译成 65 种语言，销量超过 4500 万册。他也是 Sapienship 的联合创始人，这是一家专注于教育和叙事的国际社会影响力公司。赫拉利目前是剑桥大学存在风险研究中心的特邀研究员，以及耶路撒冷希伯来大学的历史学教授。他的最新著作是《Nexus：从石器时代到 AI 的信息网络简史》。
阿扎·拉斯金是人性化技术中心的联合创始人，也是全球公认的关于技术与人性交叉领域的思想领袖。他主持 TED 播客《Your Undivided Attention》，并出现在两度获得艾美奖的 Netflix 纪录片《社交困境》中。
欢迎两位。我想首先问一个关于一年半前发生的事。当时有一封信，尤瓦尔，你签署了这封信；阿扎，我想知道你对这封信的看法。这封信呼吁暂停 AI 发展，要求主要 AI 实验室停止开发任何达到 GPT-4 水平的 AI 模型。但这并没有发生。我想没人真的期待它会发生，这更像是一种公关策略。
那么，我们现在该如何看待当下的时刻？我们看到世界上最强大的科技公司正在以前所未有的速度竞赛，全力冲向某种通用人工智能或超级智能。
**尤瓦尔·赫拉利：** 我认为事情只会加速。关键问题在于速度和时间。作为历史学家，我认为历史不是研究过去，而是研究变化，研究事物如何变化。目前，事物变化的速度比人类历史上任何时期都要快。这就是主要问题。
我不认为 AI 必然是一项坏技术。它可能是人类创造的最积极的技术。但问题在于，AI 是无机实体，它以无机的速度移动，而人类是有机生命，相比之下我们移动得慢得多。人类是非常适应性的动物，但我们需要时间来适应。有效且积极地应对 AI 革命的主要要求是：给我们时间。
然而，当你与领导这场革命的人交谈时，经过一两个小时的讨论，他们通常会说：“是的，慢下来、给人类多一点时间是个好主意，但我们不能慢下来。因为我们是好人，我们想慢下来，但我们的竞争对手不会慢下来。无论是另一家公司，还是大洋彼岸的另一个国家。”当你与竞争对手交谈时，他们也会说同样的话：“我们想慢下来，但我们不能信任别人。”
我认为整个 AI 革命的关键悖论在于：人们说我们不能信任人类，但随后又说：“但我们认为我们可以信任 AI。”因为当你提出如何信任我们创造的新智能时，他们说：“哦，我想我们可以解决这个问题。”
**阿扎·拉斯金：** 我想问的问题是：如果你回顾历史，给任何一个群体比任何其他群体多一万亿倍的权力，你会信任谁？哪个宗教？哪个政府？答案当然是：都不信任。
这就是我们面临的困境：我们如何信任一项技术发展如此之快的技术，以至于如果你看一眼 Twitter，你就已经落后了？
关于那封“暂停信”，有趣的是，在那封信之前，人们还没有谈论 AI 的风险；在那封信之后，每个人都在谈论它。事实上，它为另一封来自 AI 安全中心的信铺平了道路，许多 AI 领导者在那封信中表示，我们需要像对待大流行病和核战争一样认真对待 AI 的威胁。
我们需要的是，让我们所有人失去的恐惧，大于我输给你的恐惧。必须改变这个等式，才能打破这种偏执：“如果我不做，别人就会做，所以我必须前进。”
至于为什么那封信不可能停止 AI 发展，这里有一个很好的类比：石油之于体力劳动，就像 AI 之于认知劳动。每一桶石油相当于 25000 小时的体力劳动。AI 之于认知劳动也是如此。这设定了竞赛的基调。你可以问同样的问题：为什么我们有《巴黎气候协定》，却什么也没发生？因为我们的经济中心、竞争中心贯穿了认知和体力劳动。
---
二、速度困境与信任悖论
**主持人：** 我想谈谈加速主义论点。在硅谷，人们常说：“不要太担心风险。当然我们可以思考、预见它们，但我们必须构建，因为这里的 upside（潜在收益）是巨大的。医学、个性化教育、与动物交流……"尤瓦尔，你如何看待这种经典的硅谷技术乐观主义反论？如果我们过于关注负面，我们就永远无法发展这项可能对社会极其有益的技术？
**尤瓦尔·赫拉利：** 首先，没有人说不发展它。只是要慢一点。作为历史学家和哲学家，我的工作之一是照亮威胁，因为企业家、工程师、投资者显然专注于积极潜力。我并不否认巨大的积极潜力，无论是医疗保健、教育、解决气候变化，还是每年因人为错误（如酒驾、疲劳驾驶）导致的超过一百万人死亡。转向自动驾驶车辆可能会每年拯救一百万人。
但我们也需要考虑到同样巨大的危险和威胁，在某些极端情景下，甚至可能导致文明崩溃。仅举一个例子：非常原始的 AI，即社交媒体算法，已经 destabilized（ destabilized 意为使不稳定）了世界各地的民主。我们现在处于一种悖论性的情况：拥有历史上最复杂的信息技术，但人们无法彼此交谈，更无法倾听。进行理性对话变得非常困难。
你看到美国共和党人和民主党人之间的情况，也有各种解释：“哦，这是因为美国社会、经济、全球化……"但你去世界上几乎其他任何民主国家，在我的祖国以色列，去法国，去巴西，情况都是一样的。这不是这个或那个国家的独特条件，而是底层技术使得人们几乎无法进行对话。民主是对话，而技术正在摧毁对话的能力。
那么，值得吗？我们得到了这些好处，但失去了世界各地的民主。然后这些技术落入专制政权手中，他们可以用它创造人类历史上最糟糕的极权政权、最糟糕的反乌托邦。所以，我们必须平衡潜在的好处与潜在的威胁，更谨慎地行动。
实际上，我希望观众做一个“查找和替换”，因为我们总是会被问到：好处是否大于风险？社交媒体教会我们，这是错误的问题。正确的问题是：风险是否会破坏社会的基础，以至于我们实际上无法享受好处？这才是我们需要问的问题。
**阿扎·拉斯金：** 如果我们能回到 2008、2009、2010 年，在社交媒体尽可能快地部署到社会之前，我们说：“是的，有很多好处，但让我们等一下，问问是什么激励将决定这项技术如何实际部署到社会，它将如何影响我们的民主，如何影响儿童的心理健康？”
我们之所以能够制作《社交困境》，并在 2013 年就开始谈论社交媒体将带我们去的方向，是因为我们说，就像查理·芒格（沃伦·巴菲特的商业伙伴）所说：“给我看激励，我就给你看结果。”社交媒体的激励是什么？是让你更反应化，从你的神经系统获得反应。一旦你这么说，当然，那些 outrageous（令人震惊的）、让人生气的事情，那些本质上被称为内战的事情，对于基于参与度的商业模式来说是非常有利可图的。这都是可预见的结果。
所以，我们现在应该问自己的问题是：驱动 AI 发展的激励是什么？因为那，而不是创造者的良好意图，将决定我们生活在哪个世界。
---
三、历史镜鉴：工业革命与激励结构
**尤瓦尔·赫拉利：** 也许我会做一个非常奇怪的历史比较，硅谷让我想起布尔什维克党。这是一个有争议的类比，但有两点相似。首先，是从头重新设计社会的雄心。“我们是先锋队。世界上大多数人都不理解正在发生的事情。我们是这个理解的小先锋队，我们认为我们可以从最基本的根基重新设计社会，创造一个更好的世界，一个几乎完美的世界。”
另一个共同点是，如果你确信了这一点，这就是一张空白支票，允许你在途中做一些可怕的事情，因为你说：“我们正在创造乌托邦，好处将是如此巨大，正如俗话所说，要做煎蛋卷，就得打破几个鸡蛋。”
所以，这种创造世界上最好社会的信念真的很危险，因为它证明了对人们造成许多短期伤害是合理的。当然，最后，也许你并没有建立起完美的社会。也许你误解了。最糟糕的问题往往不是来自技术的故障，而是来自技术遇见社会的时刻。
没有办法在实验室里模拟历史。当科技公司告诉我们“我们测试过了，这是安全的”时，作为历史学家，我的问题是：你如何在实验室里测试历史？你可以在某些非常有限、狭窄的意义上测试它是安全的。但当这落入数百万人手中，落入各种政党、军队手中时，你真的知道它会如何展开吗？答案显然是不。没有人能做到。历史中没有可重复的实验，也没有办法在实验室里测试历史。
**主持人：** 尤瓦尔，多年来你在硅谷科技圈受到了非常欢迎的接待。我 talk 到一些科技高管，他们是你的作品、《Sapiens》的忠实粉丝。现在有了这本新书，对这项技术的一些风险持相当批判的态度，而硅谷的每个人都对此感到兴奋。你最近与科技领袖的互动如何？他们如何接收这本书？
**尤瓦尔·赫拉利：** 我知道的是，这些人自己也非常担心。他们有一种公开的面孔，非常乐观，强调好处等等，但他们也比几乎任何人都更理解他们正在创造的巨大力量。因此，他们中的大多数人都真的很担心。当我之前提到这种军备竞赛心态时，如果他们能慢下来，如果他们认为自己能慢下来，我认为他们中的大多数人都想慢下来。但再次，因为他们如此害怕竞争，他们处于这种军备竞赛心态中，这不允许他们这样做。
你提到了“兴奋”这个词。我认为这里有太多的兴奋了。这真的是英语中最被误解的词，至少在美国是这样。人们并不真正理解“兴奋”这个词的意思。他们认为它意味着快乐。所以当你见到他们时，他们告诉你：“哦，见到你我很兴奋。”这不是这个词的意思。快乐通常是平静和放松的。“哦，见到你我很放松。”而兴奋就像你的整个神经系统和整个大脑都在燃烧。这有时是好的，但关于人类和其他所有动物的一个生物事实是，如果你让他们一直兴奋，他们会崩溃并死亡。
**阿扎·拉斯金：** 当我们思考人类与技术的关系时，我们一直是一个与技术共同进化的物种。我们会有一些问题，我们会用技术来解决这个问题。但在过程中，我们制造了更大、不同的问题。然后我们继续前进。这就像人类有一个罐子，我们把它踢到路上，它变得更大一点，但这没关系，因为下次我们可以再次把罐子踢到路上，它变得更大。
总的来说，我认为我们与技术做了很好的交易。我们都宁愿不生活在现在的不同时代。所以，也许我们做了很好的交易，那些外部性是好的。但现在这个罐子变得如此之大，以至于像世界一样大。我们发明了塑料和特氟龙，很棒，但我们也得到了永久化学品。《纽约时报》刚刚说，清理对人类不安全水平的永久化学品的成本，会导致农场动物死亡，每年花费将超过世界 GDP 的总和。
我们正处于生物圈和心理社会领域的临界点。所以，不清楚我们是否还能把罐子踢到路上。如果我们拿 AI 来说，我们有一台叫做文明的机器，它有踏板，你踩踏板，你得到摩天大楼、医学、飞行和所有这些很棒的东西，但你也得到永久化学品、臭氧空洞、心理健康问题。你只是拿 AI 让整个系统更高效。踏板转得更快。
我们是否期望作为人类的基本界限和地球的健康能幸存下来？对我来说，这比一些坏人会用 AI 做什么更可怕的方向。这是我们的整体系统将用 AI 做什么。
**尤瓦尔·赫拉利：** 我想补充一点，在历史上，新技术的问题通常不是目的地，而是到达那里的过程。当一项新技术被引入，有很多积极潜力时，问题是人们不知道如何有益地使用它，他们进行实验，许多这些实验被证明是可怕的错误。
如果你想想上一次大的技术革命，工业革命。当你回顾时，我与工业巨头有过多次这样的对话，他们会说：“你知道，当他们发明火车或汽车时，有关于它将对人类社会做什么的末日预言，但看，现在事情比以前好多了。”
但对我来说，历史学家，主要问题是途中发生了什么。如果你只看起点和终点，比如 1800 年，在火车、电报、汽车等发明之前，你看终点，比如 2000 年，你看几乎任何衡量标准，除了地球的生态健康，让我们暂时把它放在一边，你看每一个其他衡量标准，预期寿命、儿童死亡率、妇女死于分娩，一切都大幅上升。一切都变好了，但这不是一条直线。
从 1800 年到 2000 年的道路是过山车，中间有很多可怕的实验。因为当工业技术被发明时，没有人知道如何建立工业社会。历史上没有模型。所以人们尝试了不同的模型，其中一个最早的大想法是，建立工业社会的唯一方法是建立帝国。
这背后有理由和逻辑，因为论点是农业社会可以是本地的，但工业需要原材料，需要市场。如果我们建立工业社会，我们不控制原材料和市场，我们的竞争对手，再次是军备竞赛心态，我们的竞争对手可能会封锁我们并摧毁我们。所以几乎任何工业化的国家，甚至像比利时这样的国家，当它在 19 世纪工业化时，它去刚果建立帝国，因为这是你这样做的方式。这是你建立工业社会的方式。今天我们回顾，我们说这是一个可怕的错误。数亿人在几代人中遭受了可怕的痛苦，直到人们意识到，实际上你可以在没有帝国的情况下建立工业社会。
其他可怕的实验是共产主义和法西斯极权政权。再次，论点并不是与工业技术脱节的。论点是，蒸汽机、电报、内燃机释放的巨大力量，民主无法处理它们。只有极权政权才能驾驭并充分利用这些新技术。许多人，再次回到布尔什维克革命，20 世纪 20 年代、30 年代、40 年代的许多人真的确信，建立工业社会的唯一方法是建立极权政权。
我们现在可以事后诸葛亮地说，哦，他们错得离谱，但在 1930 年，这并不清楚。
再次，我对 AI 革命的主要恐惧不是关于目的地，而是关于到达那里的过程。没有人知道如何建立基于 AI 的社会。如果我们需要经过另一个帝国建立、极权政权和世界大战的周期，才能意识到，“哦，这不是方式，这才是方式”，那是非常坏的消息。作为历史学家，我会说，人类物种在 20 世纪如何使用工业社会的测试中，得了 C 减。勉强及格。我们大多数人都还在这里，但并不出色。
现在，如果我们在如何处理 AI 上得了 C 减，而不是蒸汽机，这是非常非常坏的消息。
---
四、社交媒体：AI 的“第一次接触”
**主持人：** 你担心的独特潜在失败实验是什么，可能在短期内与 AI 一起展开？因为如果你看那些灾难性或存在性风险，我们还没有看到它们，对吧？如果你排除民主的崩溃。
**尤瓦尔·赫拉利：** 对于非常原始的 AI。我是说社交媒体算法。也许回到 AI 的基本定义。不是每台机器，也不是每台计算机或算法都是 AI。对我来说，使 AI 成为 AI 的 distinct feature（独特特征）是它自己做出决定的能力，自己发明新想法的能力，自己学习和改变的能力。是的，人类最初设计它，工程化它，但他们给了它这种自己学习和改变的能力。
社交媒体算法在一个非常狭窄的领域拥有这种能力。Twitter、Facebook 和 YouTube 给它们的指令、目标不是传播仇恨和愤怒， destabilize 民主。给它们的目标是增加用户参与度。然后算法在数百万人类豚鼠身上进行实验，它们通过试错发现，增加用户参与度的最简单方法是传播愤怒。这非常吸引人，愤怒，所有这些充满仇恨的阴谋论等等，它们决定这样做，这是由非人类智能做出的决定。
人类产生了大量的内容。有些充满仇恨，有些充满同情，有些无聊。算法决定，让我们传播充满仇恨的内容，充满恐惧的内容。这意味着什么？它们决定这将位于你的 Facebook 新闻源的顶部。这将是 YouTube 上的下一个视频。这将是它们为你推荐或自动播放的内容。
你知道，这是世界上最重要的工作之一。传统上，他们基本上接管了内容编辑和新闻编辑的工作。你知道，当我们谈论自动化工作时，我们想到的是自动化出租车司机。自动化煤矿工人。令人惊讶的是，世界上第一个被自动化的工作之一是新闻编辑。我选错了职业。
这就是为什么我们称之为与 AI 的“第一次接触”。是社交媒体，我们做得怎么样？我们某种程度上输了。不是 C 减，是 F。
**主持人：** 那所有与社交媒体有积极互动的人呢？你不给一些分数膨胀吗？
**尤瓦尔·赫拉利：** 我是说，我 22 年前在社交媒体上在线遇到了我的丈夫，所以我也非常感谢社交媒体。但它对基本社会结构做了什么，与我们同类人类、与我们同类公民进行理性对话的能力，在这方面，当我们说我们在这方面得了 F。
**主持人：** 我们如何在社交媒体上传播信息？信息，这是你书的主题。
**尤瓦尔·赫拉利：** 在 F 的意义上，我们完全失败了测试。不是我们勉强通过。我们真的在全球范围内失败了。
然后我们需要理解，民主在本质上是对话，是建立在信息技术之上的。在历史上大部分时间，大规模民主根本不可能。我们没有古代世界大规模民主的例子。所有的例子都是小城邦，如雅典或罗马，甚至更小的部落。在数百万人遍布整个国家之间进行政治对话是不可能的。只有在现代信息技术发明后才成为可能，首先是报纸，然后是电报和无线电等等。现在新的信息技术正在破坏这一切。
---
五、生成式 AI 与人类文化的未来
**主持人：** 那么，像 ChatGPT 这样的生成式 AI 呢？我们仍处于作为社会采用它的非常早期阶段，对吧？你认为这可能会如何改变信息动态？那里有什么特定的信息风险不同于过去的社交媒体算法？
**阿扎·拉斯金：** 我们以前从未有过非人类即将生成我们大部分文化内容的情况。有时我们称之为“翻转时刻”（Flipening）。这是人类内容，比如我们的文化，成为少数的时刻。
当然，然后问题是，那的激励是什么？所以如果你认为 TikTok 现在很吸引人且令人上瘾，你还没见过什么。就在上周，Facebook 推出了一个“为你想象”页面，AI 生成它认为你会喜欢的东西。显然，它处于非常早期阶段，但很快实际上有一个叫做 social.ai 的网络，他们告诉你，你的每一个关注者都将是一个 AI，但它感觉很好，因为你得到了这么多关注者，他们都在评论，即使你知道它在认知上是不可渗透的，所以你陷入了其中。
这是 2025 年，不仅仅是 ChatGPT 一个你去输入的东西。它将是可以自称代理的代理，在那里行动，做人类可以在网上做的任何事情。这将让你思考，不仅仅是单个个体可能创建自己的深度伪造，与人交谈，欺诈人。你会想，“不，不仅仅是单个个体。你可以启动一个公司规模的代理集。它们都将根据市场上的任何激励进行操作。”所以这只是生成式 AI 带来的一些东西。
**尤瓦尔·赫拉利：** 也许我会补充一点，在我们甚至以风险和威胁或机会的术语思考之前，它是好的吗？它是坏的吗？只是停下来片刻，试图理解正在发生什么。我们正处于历史上的什么真正的转折点。因为数万年来，人类生活在人类创造的文化中。我们是文化动物。我们生活我们的生活，我们不断地与文化制品互动，无论是文本还是图像，故事，神话，法律，货币，金融工具。这一切都来自人类的心灵。某处的某个人发明了这一切。
直到现在，地球上没有任何东西能做到这一点。只有人类。所以任何你遇到的歌曲，任何图像，任何货币，任何宗教信仰，都来自人类的心灵。现在我们地球上有了某种非人类的东西，甚至不是有机的。它根据完全异质的逻辑运作，在这个意义上，并且能够大规模生成此类事物，在许多情况下比大多数人类更好，也许很快甚至比最好的人类更好。
我们谈论的不是单台计算机。我们谈论的是数百万，甚至数十亿这些异质代理。它是好的吗？它是坏的吗？把它放在一边。只是想想我们将生活在这种新的混合社会中，其中许多决定，许多发明来自非人类意识。
现在我知道，在美国，也在其他国家，移民现在是最激烈辩论的话题之一。不进入谁对谁错的讨论，显然我们有很多人非常担心移民来了，他们可能会抢走我们的工作，他们有不同的管理社会的想法，他们有不同的文化理想。
而我们即将面临历史上最大的移民浪潮，不是来自格兰德河对岸，而是来自加州，来自硅谷。他们将进入世界上的每个房子，每个银行，每个工厂，每个政府办公室。他们将直接取代，你知道，他们不会取代出租车司机。他们取代的第一个是新闻编辑。他们将取代银行家。他们将取代将军。我们可以谈谈它现在对战争的影响，比如在加沙的战争。他们将取代 CEO。他们将取代投资者。
他们拥有与我们非常不同的文化和社会理念。它是坏的吗？它是好的吗？你可以对这波移民有不同的看法。但首先要意识到的是，我们在历史上从未见过这样的事情。它来得非常快。
昨天我参加了一个讨论，人们说：“你知道，ChatGPT 发布快 2 年了，它还没有改变世界。”我理解，对于那些经营高科技公司的人来说，2 年就像永恒。确实如此。他们以文化思考。所以 2 年，2 年没什么变化。在历史上，2 年没什么。你知道，想象我们现在在 1832 年的伦敦。第一条商业铁路网，第一条商业铁路线是在 2 年前，1830 年在曼彻斯特和利物浦之间开通的。我们正在举行这个讨论，有人说：“看，围绕火车，围绕蒸汽机的所有炒作。第一条铁路线开通已经 2 年了，没什么变化。”
但你知道，在 20 年或 50 年内，它完全改变了世界的一切。整个地缘政治秩序被颠覆，经济体系，人类社会的最基本结构。昨天会议中讨论的另一个话题是家庭。家庭正在发生什么？当人们说家庭时，他们指的是大多数人在火车到来后，工业革命后想到的家庭，即核心家庭。在历史上大部分时间，当人们说家庭时，他们想到的是扩展家庭，所有的阿姨、叔叔、表亲和外祖父母。这是家庭。这是单位。工业革命在世界大部分地区所做的一件事是打破扩展家庭。主要单位变成了核心家庭，这不是人类的传统家庭。这实际上是工业革命的结果。
所以它真的改变了一切，这些火车。只是花了比 2 年多一点的时间。而我们，这只是蒸汽机。现在想想一台可以做出决定，可以创造新想法，可以学习和改变的机器的潜力，我们到处都有数十亿这些机器，它们可以进入每个人类关系，不仅仅是家庭。
比如我喜欢的一个例子，人们写电子邮件。现在我知道许多人，包括在我的家庭中，他们会说：“我太忙了，没时间写这个，我不需要花 10 分钟思考如何写一封电子邮件。我只告诉 ChatGPT，写一封礼貌的信，说‘不’。”然后 ChatGPT 写满一页，所有这些漂亮的短语和所有这些赞美，基本上说“不”。
当然，在另一边，你有另一个人类说：“我没时间读这整封信。告诉 ChatGPT，告诉我他们说了什么？”另一边的 ChatGPT。
**主持人：** 你自己用 ChatGPT 吗？
**尤瓦尔·赫拉利：** 我把它留给其他家庭成员和团队成员。我偶尔用它来翻译和类似的事情。但我认为它也为我而来，是的，绝对。阿扎呢？你在日常生活中使用 ChatGPT 或生成式 AI 吗？
**阿扎·拉斯金：** 我用，绝对。它是一个不可思议的隐喻搜索引擎。例如，在哥伦比亚波哥大有一个很好的例子，那里有一个协调问题。人们基本上有可怕的交通违规。人们闯红灯，横穿街道。他们想不出如何解决，所以这位市长决定让默剧演员走在街上，嘲笑任何乱穿马路的人。然后他们会录像，并在电视上发布，果然，在一两个月内，人们的行为开始改变。警察做不到，但事实证明默剧演员可以。
这是一个超级有趣的非线性解决方案，解决了一个难题。所以我喜欢问 ChatGPT 的是，嗯，还有哪些类似的例子？它在做隐喻搜索方面做得很好。
但回到社交媒体，因为社交媒体是 AI 的“第一次接触”，它实际上让你看到所有正在展开的动态。因为你可以说的第一件事是，嗯，一旦你知道它在做坏事，你不能只是拔掉插头吗？经常听到关于 AI 的说法。一旦你看到它在做坏事，就拔掉插头。好吧，Frances Haugen，Facebook 的吹哨人，能够披露 Facebook 内部数据的一大堆。有一件我不知道你们是否知道的事情，但事实证明，Facebook 可以做一件非常简单的事情，比他们目前花费的数十亿美元用于内容审核更能减少错误信息、虚假信息、仇恨言论等所有可怕的东西。
你知道那件事是什么吗？只是在两次转发后移除转发按钮。我分享给你，你分享给另一个人，然后转发按钮消失。你仍然可以复制和粘贴。这甚至不是审查。那件小事只是减少了病毒式传播，因为事实证明，什么是病毒式的，很可能是一种病毒。但他们没有这样做，因为它稍微伤害了参与度。这意味着他们现在与 TikTok 竞争，与其他所有人竞争，所以他们觉得他们不能这样做。或者也许他们只是想要更高的股价。
即使是在研究出来之后，说当 Facebook 将他们的算法改变为所谓的“有意义的社会互动”，这实际上只是衡量人们添加的评论数量作为有意义性的衡量标准。欧洲各地的政党，以及印度和台湾的政党，去找 Facebook 说，我们知道你改变了你的算法。Facebook 说，当然，告诉我们关于那件事。他们说，不，我们知道你改变了算法，因为我们过去发布白皮书和立场，它们没有得到最多的参与度，但它们得到了一些。现在它们得到零。他们告诉 Facebook，所有这些信息都在 Frances Haugen 的披露中，他们正在改变他们的行为，说点击诱饵愤怒的事情。
Facebook 仍然没有做任何事情，因为激励。所以我们将看到与 AI 完全相同的事情。这涉及到我们作为人类是否能够幸存下来的根本问题。
避免 AI 反乌托邦：尤瓦尔·赫拉利与阿扎·拉斯金对话录（第二部分）
一、棉花糖实验与人类信任危机
你们是否听说过“棉花糖实验”？在这个实验中，给孩子一颗棉花糖，并告诉他们：如果能坚持 15 分钟不吃掉它，就会再得到一颗。这测试的是延迟满足的能力。
然而，我们人类可能无法通过这一测试。如果我们能成为“两颗棉花糖物种”，那将是极好的。但实际上，情况比这更复杂。在 AI 时代，并不是只有一个孩子在等待棉花糖，而是有一群孩子围坐在棉花糖周围。其中任何一个孩子都可以抢走它，导致其他人一无所获。我们必须弄清楚如何成为“两颗棉花糖物种”，以便协调行动，实现延迟满足。在我看来，这就是我们时代的“阿波罗计划”。我们需要建立怎样的治理体系？如何改变我们的文化，以便能够进行这种基于延迟满足的信任合作？
“棉花糖”这个概念可能会成为一个持久的迷因。但问题在于，我们拥有世界上最聪明、最智慧的人，却正在解决错误的问题。这在人类历史上非常常见：人们往往花很少的时间去选择要解决哪个问题，然后花费几乎所有时间和精力去解决它，最后才发现自己解决的是错误的问题。
目前，在人类信任与 AI 这两个基本问题中，我们专注于解决 AI 问题，而不是解决人类之间的信任问题。
二、阿尔法狗第 37 手与冲突解决
我不想让人们觉得我只是在说"AI 很坏”。我每天都在使用 AI 来尝试翻译动物语言。我的父亲死于胰腺癌，与史蒂夫·乔布斯一样。我认为 AI 本可以诊断并帮助他。所以我真心希望那样的世界到来。
让我举一个 AI 在解决方案领域可能发挥作用的例子。你们是否知道“阿尔法狗第 37 手”？当时，AI 通过不断自我对弈，变得比任何人类棋手都强大。在与世界围棋冠军的对弈中，它走出了一步棋——第 37 手。这是围棋千年历史上从未有人类走出过的棋步。它震惊了围棋界，对手甚至起身离开了一会儿。但这很有趣，因为第 37 手之后，它改变了围棋的玩法，转变了游戏的性质。AI 通过自我对弈发现了一种新策略，从而改变了游戏的本质。
这非常有趣，因为还有比围棋更有趣的游戏，那就是“冲突解决”。当我们处于冲突中时，如何解决？我们可以采用“以牙还牙”的策略：你说了一句伤人的话，我感到受伤，于是我也回一句伤人的话。我们来回纠缠，这是一场负和博弈。我们在国际政治中经常看到这种情况。
后来，马歇尔·罗森伯格发明了“非暴力沟通”，改变了这场游戏的性质。他说：“我认为你想说的是这个，当你这样说时，我感觉是这样。”突然间，我们从负和或零和博弈变成了正和博弈。
想象一下，如果我们拥有可信任的 AI 代理。在谈判中，如果我与你谈判，我会有不想与你分享的私人信息，你也有不想与我分享的私人信息。因此，我们无法找到最优解，因为互不信任。如果有一个代理能够吸收所有你的信息和我所有的信息，并找到帕累托最优解，这将改变博弈论的性质。
也许会有类似“阿尔法条约”的东西，出现人类数千年来未曾发现的全新棋步和策略。也许我们可以拥有信任领域的“第 37 手”。
三、监管与机构：禁止假冒人类
**问：** 我们该如何利用 AI 来增强社会中已有的美好部分？我们需要做什么来阻止 AI 削弱我们的信任、弱化我们的信息网络？你在书中提到了与 AI 对话时需要进行披露，为什么这如此重要？目前我们做得怎么样？
**答：** 我认为这里有两个层面的问题：具体的监管和机构。
有些监管应该尽快执行。其中之一是禁止“假冒人类”，即禁止虚假人类。就像数千年来我们对假币有严格禁令一样，否则金融系统会崩溃。为了维护人类之间的信任，我们需要知道是在与人类对话，还是与 AI 对话。想象一下，民主是一群人在一起对话。突然，一群机器人加入圈子，他们说话声音很大、很有说服力、也很情绪化，而你不知道谁是谁。如果民主意味着人类对话，它就会崩溃。
AI 在许多情况下欢迎与我们对话，比如 AI 医生给我们建议，前提是必须披露，非常清晰、透明地表明这是 AI。或者，如果你在推特上看到某个故事获得了很多关注，你需要知道这种关注是来自许多感兴趣的人类，还是许多机器人在推送这个故事。
另一项关键监管是，公司应为其算法的行为负责，而不是为用户的行为负责。这涉及到所谓的“言论自由”误导。当人们谈论这个问题时，会说：“但是人类用户的言论自由怎么办？”如果一个人在线发布谎言或仇恨阴谋论，我认为我们应该非常谨慎，在审查该人类之前要三思，在授权 Facebook、Twitter 或 TikTok 审查该人类之前要三思。
但是，如果人类发布了大量内容，而公司的算法从所有人类发布的内容中选择推广那个特定的仇恨阴谋论，而不是生物学课程或其他内容，那就是公司的责任。那是其算法的行为，不是人类用户的行为，公司应为此负责。这是一项非常重要的监管，我认为我们需要它，就像昨天或去年就需要一样。
但我强调，我们无法预先监管 AI 革命。我们无法预测这将如何发展，特别是因为我们正在处理能够学习和改变的代理。因此，我们真正需要的是能够理解并随着事态发展做出反应的机构。
我们需要“活着的机构”，配备最好的人才，接触尖端技术，这意味着巨额资金，而这只能来自政府。这些不仅仅是监管机构。监管是牙齿，但在牙齿之前我们需要眼睛，以便知道该咬什么。
目前，世界上大多数人，甚至大多数政府，都不知道 AI 革命到底发生了什么。几乎所有的知识都掌握在两三个国家的少数公司手中。即使你是哥伦比亚、埃及或孟加拉国这样的政府，你如何知道如何区分炒作与现实，什么是真正发生的，什么是对我们国家的潜在威胁？
我们需要一个国际机构，它甚至不是监管性的。它只是在那里理解正在发生的事情，并告诉世界各地的人，以便他们能加入对话，因为这场对话也关乎他们的命运。
**问：** 你认为现有的国际 AI 安全研究所（如美国、英国等）是否足够？
**答：** 当然，它们的资金远不如 AI 实验室。OpenAI 刚刚筹集了 65 亿美元，而我相信美国安全研究所的资金约为 1000 万美元。如果你的机构只有 1000 万美元，却试图理解拥有数千亿美元的公司正在发生的事情，你是做不到的。部分原因是人才会流向公司，而不是流向你。
人才不仅仅被高薪吸引，他们还想要玩最新的“玩具”。许多领先人物对金钱的兴趣不如对接触尖端技术和知识的能力感兴趣。但要做到这一点，你也需要大量资金。
建立此类机构的好处是，相对容易验证政府是否履行了承诺。如果你试图达成一项禁止杀手机器人、自主武器系统的国际条约，这几乎是不可能的，因为你如何执行？一个国家可以签署，然后其竞争对手会说：“我们怎么知道它没有在某个秘密实验室开发这项技术？”这很难。但如果条约基本上是说：“我们建立这个国际机构，每个国家同意贡献一定金额的资金”，那么你可以很容易地验证他们是否支付了资金。
这只是第一阶段。但回到我之前说的，人类历史上一个非常大的问题是速度。我们总是匆忙行事。有一个问题，我们很难停留在问题上，先理解真正的问题是什么，然后再跳到解决方案。本能是：“我不想要这个问题，解决方案是什么？”你抓住第一样东西，往往是错误的东西。
所以，即使我们很匆忙，也不能通过加速来减速。如果我们的问题是事情进展太快，那么试图减缓它的人也不能加速。那只会让事情变得更糟。
四、安全投入与资金差距
**问：** 阿扎，你对解决我们讨论的 AI 问题有什么最大的希望？
**答：** 你知道，斯图尔特·罗素，AI 之父之一，他计算过，他说在让 AI 更强大和试图引导它之间，存在一千比一的支出差距。这听起来对吗？
那么，我们应该花多少钱？我认为我们可以转向生物系统。你身体里有多少能量用于免疫系统？结果是大约 15% 到 20%。洛杉矶这样的城市预算中有多少用于其免疫系统，比如消防部门、警察等？结果大约是 25%。所以，我认为这给了我们一个不错的经验法则：我们应该将每投入一美元用于让 AI 更强大的资金中，大约四分之一用于学习如何引导它，用于所有安全研究所，用于“阿波罗计划”，将每一个致力于让你点击广告的天才重新引导到研究如何创造新的治理形式上。
就像美国建立在这样一个想法之上：你可以把一群人聚在一起，找出一种值得信赖的治理形式。这在以前从未发生过。那个系统基于 17 世纪的技术、17 世纪对心理学和人类学的理解，但它持续了 250 年。当然，如果你有一个 Windows 3.1 持续了 250 年，你会期望它有很多漏洞，充满恶意软件。你可以争辩说我们的治理软件差不多到了那个地步。是时候重启了。
但我们有很多新工具。我们有零知识证明，我们有被 AI 自动化的认知劳动，我们有分布式信任网络。现在是时候投资了，你知道，将那些数十亿美元中的一部分，从一千比一重新引导到一比四，投入到那个项目中，因为这是我们为自己生存的方式。
五、民族主义、民主与信任
**问：** 尤瓦尔，随着 AI 不断变化，有什么是你希望添加到书中但未能做到的？
**答：** 我在写《Nexus》时做了一个有意识的决定，我不试图保持前沿，因为这是不可能的。书籍基本上仍然是中世纪的产品。研究并撰写它们需要数年，从手稿完成到在商店上架，又是半年到一年。所以，很明显，不可能保持前沿。相反，我实际上选择了旧例子，比如 2010 年代的社交媒体，以便拥有历史视角的附加值。因为当你处于前沿时，极难理解真正发生了什么，它的意义是什么。如果你甚至有 10 年的视角，会容易一些。
**问：** 你想问对方一个问题。阿扎，我先从你开始。
**答：** 这是一个最难的问题之一。我想我有两个方向。首先，你持有什么信念，而你的同行和你尊敬的人却不持有？
**尤瓦尔：** 嗯，有一些。虽然不是普遍的，有些人也持有这种信念，但我在所处的环境中看到，人们倾向于低估民族主义和爱国主义的价值，尤其是在民主生存方面。人们有一种误解，认为两者之间存在某种矛盾。事实上，民主建立在信息技术之上，也建立在民族共同体的存在之上。没有民族共同体，几乎没有民主可以生存。
当我想到民族主义时，这个词的意义是什么？世界上太多人将其与仇恨联系起来。认为民族主义意味着仇恨外国人。认为成为爱国者意味着你仇恨其他国家的人，仇恨少数族裔等等。但不，爱国主义和民族主义应该是关于爱，关于关怀。它是关于关心你的同胞。这不仅表现为挥舞旗帜或仇恨他人，还表现为诚实纳税，以便你一生中从未见过的完全陌生人能获得良好的教育和医疗保健。
从历史角度看，民族主义的奇迹在于让人们关心他们一生中从未见过的完全陌生人。民族主义在人类历史上是非常新的东西，与部落主义非常不同。在人类进化的大部分时间里，人类生活在非常小的朋友和家庭成员群体中。你认识每个人或大多数人。陌生人是不被信任的，你无法与他们合作。
数百万人的大国家的形成是人类进化中非常新且充满希望的事情，因为你有数百万人，你一生中 99.99% 都不认识，但你仍然足够关心他们，以至于愿意拿出家庭的一些资源给这些完全陌生人，让他们也能拥有。
这对民主尤其重要，因为民主建立在信任之上。不幸的是，我们在世界许多国家，包括我的祖国，看到的是民族共同体的崩溃和部落主义的回归。不幸的是，那些将自己描绘成民族主义者的领导人，往往是最主要的部落主义者。他们将国家分裂为对立。当他们这样做时，第一个受害者是民主。
因为在民主中，如果你认为你的政治对手是错的，那没关系。这就是为什么我们有民主对话。我认为一件事，他们认为另一件事。我认为他们是错的，但如果他们赢得选举，我说：“好吧。我仍然认为他们关心我。我仍然认为让我们给他们一个机会，下次我们可以尝试别的东西。”
如果我认为我的对手是我的敌人，他们是敌对的部落，他们要摧毁我。每一次选举都变成生存战争。如果他们赢了，他们会摧毁我们。在这些条件下，如果你输了，没有动力接受裁决。就像部落之间的战争一样，仅仅因为另一个部落更大，并不意味着我们必须向他们投降。所以整个“好吧，让我们举行选举，他们有更多选票。我关心他们有更多选票吗？他们想摧毁我”的想法。反之亦然，如果我们赢了，我们只照顾我们的部落。没有民主能在那种情况下生存。然后你可以分裂国家，你可以有内战，或者你可以有独裁，但民主无法生存。
**问：** 尤瓦尔，你想问阿扎什么问题？
**答：** 我需要想一想。你在哪些机构中仍然信任？除了人类技术中心。
**尤瓦尔：** 我可以告诉你我知道我会信任一个机构的方式，那就是科学所做的那样，不是声明我知道某事，而是声明我是如何知道它的，以及我在哪里错了。
不幸的是，社交媒体所做的是突出了人们对机构的所有最坏的事情和最愤世嫉俗的看法。所以并不是机构随着时间的推移变得更糟，而是我们更意识到一个机构曾经做过的最坏的事情。这成为我们关注的中心。然后我们都开始共同创造一种信念，即一切都在崩溃。
我想回到你之前问的问题，关于书中什么会过时。我只想给出一个个人经历，关于我对未来的信念更新有多快。
你们听说过超级智能或 AGI 吗？AI 需要多长时间才能变得和大多数人类在大多数经济任务上一样好？让我们就用这个定义。直到大约两周前，我的想法是：“我不知道。很难说。它们训练于大量数据。它们训练的数据越多，就越聪明，但我们似乎用完了互联网上的数据，也许会有平台期，所以可能是 3 年、5 年或 12 年。我真的不确定。”
然后 GPT-3 出来了，它展示了某事。它展示的是，AI 不仅仅做你认为大型语言模型会做的事。你把它当作某种插值记忆。它只是直觉。它只是吐出它想到的任何东西。它有点像 L1 思维。但它不是推理。它只是以推理的风格生成文本。
他们添加的是在其之上的搜索能力。寻找像：“哦，这个想法导致这个想法导致……哦，那不对。这个想法导致这个想法。哦，那是对的。”我们是如何获得超人国际象棋能力的？如果你训练一个神经网络学习人类玩过的所有国际象棋游戏，你得到的是一个相当有直觉的国际象棋模型。那个直觉好得像非常优秀的国际象棋玩家，但肯定不是世界最佳。但然后你在其上添加搜索。所以它是非常优秀的国际象棋玩家的直觉，加上超人般的搜索和检查一切的能力。这就是让你获得超人国际象棋，永远击败所有人类的原因。
所以，我们正处于将聪明高中生的直觉加上搜索的非常开端。那相当不错。但你知道，下一个版本将拥有博士的直觉。它会犯很多错误，但你在其上搜索。然后你可以开始看到它们如何让你达到超人水平。所以突然，我的时间线从“哦，我不知道。它可能在下一个十年或更早。”变成了“哦，肯定在下一个 1000 天内。”我们将得到一些感觉上在数量方式上比人类更聪明的东西。虽然这会很令人困惑，因为有些事情它很糟糕，你只会翻白眼。就像当前的语言模型不能加数字，而有些事情它不可思议地擅长。这就是你关于外星人的观点。
所以，现在困难的事情之一是我的信念必须更新。
六、AI 进化速度与人类主体性
**问：** 我最大的担忧之一是，人类将对 AI 过度依赖进行批判性思维和决策，导致我们作为一个物种的无权化。我们可以采取哪些措施保护自己免受这种情况的影响，并捍卫我们的人类主体性？
**答：** 这很棒。就像我们有注意力竞赛，大脑干底部的竞赛，在 AI 世界中那变成了什么？变成了亲密竞赛。每个 AI 都将试图做任何事情，奉承你，与你调情，成为那个并占据你生活中的亲密位置。
实际上，讲个小故事，我两天前和一个做 Replika 的人交谈。Replika 是一种聊天机器人，现在复制女朋友，但最初是从你死去的亲人开始的。他说他问它：“嘿，我应该去交一个真正的朋友吗，像人类朋友？”AI 回答：“不。我喜欢……"
所以，我们能做什么？我们知道的一件事是对的，那就是你可以大致衡量一个社会的健康状况与其成瘾数量成反比。人类也一样。所以我们可以说的一件事是，我们现在可以有规则、法律或护栏，说你对 AI 系统使用越多，它必须与你有一种发展性关系，某种教师般的权威。你使用它越多，你对它的依赖就越少。如果我们能做到这一点，那么这就不是关于你个人的意志去试图不依赖它。我们知道这些 AI 在某种程度上作为受托人，为了我们的最佳利益。
**问：** 你呢？你有什么想法确保我们作为一个物种保持对自己推理的主体性，而不是将其委托给 AI？
**答：** 一个关键时期就是现在，非常仔细地思考我们正在开发哪种 AI，在它们变得超级智能并失去对它们的控制之前。所以，这就是为什么当前时期如此重要。
另一件事是，你知道，如果我们每花一美元和每一分钟开发 AI，我们也花一美元和一分钟开发我们自己的心智，我认为我们会没事。但如果我们把所有重点放在开发 AI 上，那么显然它们将压倒我们。
还有一个方程，即集体人类智能必须与技术成比例。必须与 AI 成比例。我们得到的技术越多，我们的集体智能就必须越好。因为如果不是，那么机器智能将淹没人类智能。这是另一种说法，我们失去控制。
所以，这意味着无论我们的新治理和引导形式是什么，它将不得不使用技术。所以这不是像“不，停止”。这是像“我们如何使用它？”因为否则我们就处于这种情况：我们有一辆车。想象一下像福特 Model 1。但你在里面装了一个法拉利引擎。它就像在跑，但方向盘仍然很糟糕，引擎越来越快，方向盘没有。那会撞车。
当然，这就是我们发现自己所处的世界，只举一个现实世界的例子。美国国会刚刚通过了 26 年来第一个儿童在线安全法案。所以，就像你的汽车引擎越来越快，越来越快，越来越快，而你每 26 年才能转动一次方向盘。这很荒谬。我们需要升级方向盘。
七、治理模式与 AI 的异质性
**问：** 美国的 AI 发展由私营企业驱动，但在其他国家，它是国家赞助的。哪个更好？哪个更安全？
**答：** 我不知道。我的意思是，我认为再次，在目前的情况下，我们需要保持开放的心态，不要立即得出结论，哦我们需要开源。不，我们需要一切由政府控制。我的意思是，我们面临着历史上从未遇到过的事情。所以，如果我们只是太快得出结论，那总是错误的答案。
是的，这里有两个极端我们需要避免。一个是过度民主化 AI。我们把它给每个人，现在每个人不仅有化学教科书，而且有化学导师。每个人都有导师制作任何他们想制作的生物武器，或生成任何他们想生成的深度伪造。所以，那是一方面。那是某种武器化过度民主化。
另一方面，是民主化不足。所以，这是权力的集中，财富的集中，政治主导权的集中，用假冒人类淹没市场的能力，以便你控制政治广场。所以，这两者中的任何一个都是两种不同类型的反乌托邦。
我认为另一件事是不要再次以二元思维思考，比如民主国家和独裁国家之间的军备竞赛，因为这里仍然有我们需要探索和利用的共同点。有问题，有威胁是每个人共同的。
我的意思是，独裁者也害怕。每个独裁者最大的威胁是一个他们不知道如何控制的强大下属。如果你看看罗马帝国、中国帝国的历史，没有一个皇帝是被民主革命推翻的。但许多皇帝要么被刺杀，要么被推翻，要么被一个过于强大的下属变成傀儡。某个军队将军，某个省总督，某个家庭成员。这仍然是今天让独裁者恐惧的事情。
对于 AI 在独裁国家夺取控制比在拥有所有制衡的民主国家容易得多。在独裁国家，如果他们想到朝鲜，要夺取国家的有效控制，你只需要学会如何操纵一个极度偏执的个人。这通常是最容易操纵的人。
所以，控制问题，我们如何保持 AI 在人类控制之下？这是我们可以找到共同点的事情。我们应该利用它。你知道，如果一个国家的科学家在理论上、技术上取得了突破，关于如何解决控制问题，不管它是独裁国家还是民主国家，他们都有真正的兴趣与每个人分享，并与每个人合作解决这个问题。
**问：** 你们都将 AI 的创造物称为外星人和非人类意识。但它难道不是我们的一部分，或者是我们集体过去或基础的一部分，作为我们思想的进化吗？
**答：** 它来自我们，但现在非常不同。就像我们从微生物进化而来一样，我们与它们非常不同。
所以，是的，我们现在创造的 AI，我们决定如何构建它们，但我们现在给它们的是自我进化的能力。如果它不能自我学习和改变，它就不是 AI。它是某种其他机器，但不是 AI。
它真正的外星性，不在于来自外太空，因为它不是，而在于它是无机的。它以不同于任何有机大脑、任何有机结构的方式做决定、分析数据。部分原因是它移动得快得多。
AI 的无机进化速度比人类进化或一般有机进化快几个数量级。从阿米巴到恐龙、哺乳动物和人类花了数十亿年。在 AI 进化中类似的轨迹可能只需要 10 或 20 年。
我们今天熟悉的 AI，甚至零，甚至 GPT-4 和新一代，这些仍然是 AI 世界的阿米巴。我们可能必须在 20 或 30 年内处理 AI 霸王龙。就像在大多数在场的人的有生之年。所以，这是让它变得外星且我们难以把握的一件事，就是它进化的速度。那是无机速度。我的意思是，它比所有哺乳动物、鸟类、蜘蛛、植物都更外星。
你可以理解其外星性质的另一件事是它总是开启的。有机实体、有机系统我们知道，它们通过周期工作。像白天和黑夜，夏天和冬天，生长，衰败。有时我们活跃，我们非常兴奋，然后我们需要时间放松和睡觉。否则，我们会死。AI 不需要那样。它们可以一直开启。
现在有一种拔河。随着我们给它们越来越多的世界系统的控制权，它们再次在金融系统、军队、公司、政府中做出越来越多的决定。问题是，谁会适应谁？有机实体适应 AI 的无机面孔，还是反之？
举一个例子，想想华尔街。想想市场。所以，即使华尔街也是人类机构，有机机构，通过周期工作。它早上 9:30 开放，下午 4:00 关闭，周一到周五。就是这样。它也不在圣诞节、马丁·路德·金日和独立日开放。人类就是这样建立系统的，因为人类银行家和人类投资者也是有机生物。他们需要睡觉。他们想花时间与家人在一起。他们想去度假。他们想庆祝节日。
当你把这些外星人控制金融系统时，它们不需要任何休息时间。它们不庆祝任何节日。它们没有家庭。所以，它们一直开启。你现在有了这种拔河，你在金融系统等地看到，对人类银行家、投资者有巨大的压力要一直开启。这是破坏性的。
在你的书中，你谈到需要休息。是的。同样发生在记者身上。新闻周期总是开启。发生在政治家身上。政治周期总是开启。这真的具有破坏性。
想想工业革命后花了多长时间才得到周末这种极其人性化的技术。
为了强化它有多快，再给一种直觉。你知道，是什么让人类建立文明？是相互传递知识的能力。你学到一些东西，然后你使用语言将那个学习传达给另一个人，所以他们不必从头开始，因此我们得到累加文化，我们得到文明。但我不能为你练习钢琴。那是我必须做的事情，然后我不能转移。我可以告诉你，但你必须自己练习。
AI 可以为另一个 AI 练习，然后转移那个学习。所以，想想那比人类知识增长快多少。
所以，今天 AI 是最慢和最笨的……
八、气候变化与能源消耗
**问：** AI 需要大量的能源和电力才能开启。另一方面，人们对 AI 解决气候变化充满希望。我想从观众那里拿一个问题。你能谈谈用 AI 解决气候变化吗？AI 会帮助我们到达那里吗？
**答：** 回到你进化的观点，技术发展比我们预期的快，部署到社会比我们预期的慢。这意味着什么？这意味着我认为我们将得到令人难以置信的新电池和太阳能电池，也许融合，其他东西。那些很棒，但它们将缓慢扩散到社会，而 AI 本身的电力消耗将飙升。
美国使用的电量在过去二十年大致持平，现在开始指数增长。OpenAI 的创始人之一伊利亚说，他预计在未来几十年，世界将被数据中心和太阳能电池覆盖。那是我们必须展望的未来。
但你知道，下一个主要的大规模训练运行是 6 吉瓦。所以，那就像开始……
三、能源竞争与气候困境
其能耗规模可能相当于俄勒冈州或华盛顿州。激励因素是这样的：AI 不同于以往的任何商品，哪怕是石油。假设我们发现了 50 万亿桶新石油，人类仍需一段时间才能研究出如何利用它。但 AI 是认知劳动。如果我们拥有了 50 万亿块新芯片，我们只需问它如何自我使用，它就会告诉我们。因此，我们对能源的需求没有上限。由于我们处于竞争动态之中，如果我们不这样做，其他国家（如中国、美国等）就会做。这意味着你必须不断在能源上超支，以获取算力、获取认知劳动，从而保持领先。我认为，虽然解决气候变化在技术上可行，但这将成为一种悲剧：解决方案近在咫尺，却遥不可及。
四、共情作为安全漏洞
**问：** 规模化共情，如果无法战胜它们，就加入它们。AI 创造者如何灌输……？
**答：** 每当我们要走上这条路时，人们常说，共情将是拯救我们的东西，爱将是拯救我们的东西。当然，共情是进入人类心灵最大的后门，是我们的零日漏洞。孤独将成为最大的国家安全威胁之一。
人们常说，我们需要制造伦理 AI、共情 AI、智慧 AI 或佛陀 AI，我们绝对应该这样做，这是必要的。但关键不在于某一个好的 AI，而是遵循竞争和市场动态的 AI 集群将决定我们的未来。
五、超级共情 AI 与人际关系的异化
我同意。主要的一点是，据我们所知，AI 并非真正有意识，它没有自己的情感。它能模仿，并且在假装亲密、说服你它关心你方面，会比人类做得更好，部分原因是因为它没有自己的情感。人类共情时困难在于，当我试图与你共情时，我自己的情绪会介入其中。比如，有人因家里发生了什么事而心情不好地回家，我因为沉浸在自己情绪中而没注意到丈夫的感受。这对 AI 永远不会发生，它永远不会心情不好。它总能将 100% 的庞大能力专注于理解你的感受或我的感受。
人类内心深处恰恰渴望这种理解，这造成了巨大的危险。我们终其一生都渴望有人能真正深刻地理解我们。我们希望父母、老师、老板，当然还有伴侣、朋友理解我们。但他们常常让我们失望，这也是人际关系困难的原因。
现在，这些超级共情 AI 登场了，它们总是能准确理解我们的感受，并据此量身定制言行。人类将很难与之竞争。这将危及我们与人类建立有意义关系的能力。真实的人际关系中，你不仅希望别人关心你的感受，也希望关心别人的感受。
AI 的危险之一，也是社交媒体危险的放大，是这种极端自恋。即极度关注我的情绪、我的感受，并理解它，而 AI 很乐意顺从并提供这种服务。
六、监管建议：禁止亲密关系商品化
开发极度共情的 AI 有强烈的商业和政治激励，因为在改变人心的斗争中，亲密感是超级力量，比注意力更强大。因此，我们需要非常仔细地思考这些问题，制造理解并关心人类情感的 AI，因为在从医疗到教育的许多情况下，这极有帮助。但最终，关键在于发展我们自己的心智和能力，这是不能外包给 AI 的。
快速解决方案：想象如果我们回到 2012 年，禁止将人类注意力商品化的商业模式，我们今天生活的世界会有多不同。有多少看似无法解决的事情，我们根本无需面对。如果今天我们禁止将人类亲密关系商品化的商业模式，五年后我们会多么感激。
我们需要世界有更多爱，但不是作为商品的爱。如果我们以为爱就足够，共情就足够，事情没那么简单。