尤瓦尔·赫拉利与阿斯玛·姆哈拉论人工智能、民主与人类未来
**日期：** 2025-01-22 **地点：** 巴黎科学城（Cité des Sciences）
---
一、AI 的本质：从工具到代理
**主持人：** 再次感谢您与我们在一起。
**尤瓦尔·赫拉利：** 谢谢，这是我的荣幸。我们之前在伦敦见过面，当时也是关于人工智能（AI）的访谈。这确实是当下的热门话题。无论是习近平、唐纳德·特朗普，还是埃隆·马斯克，都希望将 AI 引入白宫。弗拉基米尔·普京早在 2017 年就说过，在人工智能领域领先的國家将主导世界。当然，AI 也能开发新材料、新药，实现蛋白质折叠的可视化表示，带来许多进步。也许经过几次“寒冬”后，AI 并没有加速发展。
我的第一个问题是：您如何定义 AI，以及为什么它可能成为民主的威胁？
**赫拉利：** 让我们先从定义开始，因为这里存在巨大的混淆。围绕 AI 有太多的炒作，人们几乎给任何机器、计算机或程序都贴上 AI 的标签。那么，真正的 AI 是什么？它与其他机器或计算机有何不同？
基本上，AI 是历史上第一种不是工具的技术，它是一个代理（Agent）。它是某种可以自行做出决定的东西，可以自行创造新想法、发明新事物，从新文本、新诗歌、新药物到新武器。历史上所有之前的技术都只是我们手中的工具，我们决定如何使用它。印刷机无法决定印哪本书，当然也无法决定轰炸什么目标，更无法发明新武器。但 AI 可以做到。AI 可以决定印什么，可以自行撰写新文本。AI 武器可以自行决定轰炸谁，并可能发明新武器和新军事战略。
为了给出一个具体的例子，AI 与其他自动机器有何不同？想想咖啡机，很多人在家或办公室都有。当你走近机器，想要一杯浓缩咖啡，按下按钮，机器自动为你准备咖啡。这不是 AI，这只是自动咖啡机，它不做任何决定，你按了按钮，它无法发明新东西。
如果咖啡机拥有了必要的软件，当你走近时，它对你说：“我已经观察你几天、几周或几个月了，我也观察了其他人。基于我对人类整体以及你个人的了解，基于你的面部表情和一天中的时间，我预测你想要一杯浓缩咖啡，所以我已经自行决定为你做一杯。”这已经是 AI 咖啡机了。如果第二天你再来，它告诉你：“现在，我发明了一种新饮料，比浓缩咖啡更好，我叫它‘最佳浓缩咖啡’（Bestpresso）。历史上从未有人想过制作这种饮料，但我觉得你会更喜欢，所以我为你做了一杯。”这才是真正的 AI 咖啡机。
我们可能还没有 AI 咖啡机，但我们有越来越多的 AI 在银行、军队中做决定和发明事物。今晚我们会讨论很多例子。再举一个著名的小例子：两年前，OpenAI 开发 GPT-4 时，想测试这项新技术的能力。他们给 GPT-4 的任务是解决验证码（CAPTCHA）谜题。验证码是视觉谜题，当你访问某些网页（如银行账户）时，为了确保你是人类而不是机器人，你需要识别扭曲的字母，这对计算机来说很难。
OpenAI 给 GPT-4 的任务是解决验证码，但 GPT-4 做不到。研究人员给 GPT-4 访问了一个网页 TaskRabbit，你可以在上面雇佣人做事。于是 GPT-4 试图雇佣一个人类来帮它解决验证码。这就变得有趣了，因为人类起了疑心，在线询问：“你是机器人吗？为什么需要帮助解决验证码？”GPT-4 回答：“不，我不是机器人，我有视力障碍，无法看到验证码，所以需要你的帮助。”人类相信了，帮它解决了验证码，它达成了目标。
这里有两点需要理解：是的，是人类给了 GPT-4 目标，是人类给了它互联网访问权限，但没有人告诉 GPT-4 撒谎。它自行决定撒谎，因为它意识到如果告诉人类真相，人类就不会帮它，而它需要达成目标。第二点是，它发明了一个谎言，而且非常有效。在所有可能的句子中，它想出了一个极佳的谎言。这就是 AI，它可以做决定，可以发明新事物。
这让你害怕吗？首先，这应该让我们感到惊奇或好奇，在恐惧之前先理解。在人类历史上，我们第一次创造了代理，而且不是一个，而是潜在的数百万、数十亿个代理，它们将无处不在。它们已经进入各个领域：你申请银行贷款，是 AI 决定是否给你贷款；你去大学，是 AI 决定是否录取你；在军队中，越来越多地由 AI 选择目标、决定轰炸什么。当然，这里有巨大的积极潜力，但也有危险。在最基本的层面上，创造数百万个可能比我们更智能、我们可能失去控制的代理，听起来并不是一个好主意。
**主持人：** 危险可能不仅来自它们复制或理解并变得更好，但我们如何保持控制？现在为时已晚吗？您是“未来生命研究所”公开信签署者之一，你们曾呼吁暂停六个月。这可能吗？
**赫拉利：** 不，我的意思是，没人真的以为他们会暂停，那更像是一种公关行为。马斯克也签了，对吧？是的。然后他选择了更有效的方式来控制 AI 竞赛，而不是签署信件。在我看来，至少在他这种情况下，他押注了特朗普，假设他现在将控制 AI 竞赛，成为 AI 沙皇，也许做出人类历史上最重要的决定。
但在准备这次会议时，我与一些研究人员交谈过，例如来自 Hugging Face 的（这是一家在美国和法国都有基地的 AI 公司）。他们告诉我，人类发明者有一些方法可以保持对算法的控制，比如开源。理论上确实有方法。如果我认为已经太晚了，无事可做，全是末日，那写书就没有意义了。你写书不是为了预言未来然后告诉大家“我是对的”，那没有意义。你写书是为了警告人们一些危险的情景，假设如果我们做出正确的决定，我们仍然可以控制 AI。像 GPT-4 这样的 AI 仍然非常原始，它们发展非常快。我们正处于 AI 革命的开端，AI 革命只有 10 年左右的历史。我们现在要处理的是非常原始的 AI，它们已经在以惊人的方式改变世界。但这给了我们机会去反思我们面临的是什么。如果我们在未来几年做出正确的决定，我们仍然可以控制局面。但没人知道我们有多少时间，有人说 3 年，有人说 30 年。
几周前你在硅谷，见了很多很多人，我想包括马克·安德森。你告诉我，很多人谈论 AGI（通用人工智能），即机器在所有认知功能上都优于人类的时刻。为什么你认为很多发明者，比如山姆·奥特曼，想要实现 AGI？
**赫拉利：** 这是迷恋和恐惧的结合。一方面，有巨大的恐惧，如果我们放慢脚步，而别人不慢，因为他们更无情，他们会先得到，他们将控制世界。所以我们必须跑得比他们快，每个人都这么想。这是军备竞赛的逻辑。世界上只有少数人真正理解正在发生的事情，但在硅谷，很多理解正在发生什么的人，他们理解技术的巨大积极和消极潜力。他们像普京引用的那句话一样认为，赢得 AI 竞赛的人控制世界，其他一切都无关紧要。
即使我们稍后谈论地缘政治和军事，一旦你拥有完全自主的无人机，世界上的所有军队都将过时。我们在俄罗斯入侵乌克兰期间看到了俄罗斯黑海舰队的遭遇，三分之一的舰队被击沉，其余的躲藏起来，而乌克兰人甚至没有海军。一旦拥有完全自主的无人机和其他武器，也就是 AI 武器，这可能会在更大规模上发生。这很可能是历史上最大的军事革命之一，可能在两三年内发生，使其他所有军事发展变得无关紧要。这在许多民用领域也可能发生。所以，有这种巨大的恐惧，如果我们因为不够无情而放慢脚步，就会落后，竞争对手公司或国家会先得到，他们将统治世界，而我们一无所有。
当然，这与迷恋相结合，有人说是那种想要成为做出最重要发明的人的自大狂，也许不仅仅是历史上，而是真正在宇宙层面上。如果你想想地球生命的历史，或者我们所知的宇宙生命，生命在地球上出现大约 40 亿年前。然后 40 亿年里没什么重要的事发生，你只是有有机生命发展不同的形式，像阿米巴、恐龙、树、番茄、猿和人类，但只是有机物质。基本模型是一样的，是有机生命。然后埃隆·马斯克创造了无机生命，无机生命从地球传播到宇宙的其余部分，到银河系的其余部分，因为有机生命在地球上进化，适应地球，人类去火星生活极其困难，大气、重力、空间辐射，几乎不可能让有机生命从地球传播。但无机生命容易得多。
试着想象这个宇宙时间尺度：宇宙创造于 130 亿年前，地球有机生命 40 亿年前，埃隆·马斯克或无机生命接管银河系。对于生活中有抱负的人来说，这比成为美国总统大得多。
**主持人：** 很好，谢谢。我们有很多其他问题，也许有些问题让我们保持一点乐观。在我们继续之前，我想请菲利普上台朗读您书中《好消息》（The Good News）的摘录。
（菲利普朗读，掌声）
---
二、智能与意识：当前的界限
**观众提问：** 关于金钱的问题非常有趣。我有一个关于超级智能的问题给阿斯玛，因为我认为她有很好的观点。但我想很快听听赫拉利关于算法操纵我们的意见。关于意识，机器是否有意识？那可能是很久以后，也许永远不会发生。但去年有一篇研究论文，由一些研究人员签署，比如约书亚·本吉奥（Yoshua Bengio），他出生在法国，现在住在蒙特利尔，是 Mila 的研究员。他说有意识的机器有一天可能发生。我想在谈论超级智能之前，很快听听您的想法。
**赫拉利：** 很快回答，只是定义。智能是追求目标、在实现目标过程中解决问题的能力。比如 GPT-4 有解决验证码的目标，并找到解决问题的方法，比如对人类工人撒谎。这是智能。意识是感受事物的能力，比如痛苦、快乐、爱和恨。人类混淆了这两者，因为我们用感觉来解决问题。目前的计算机，目前的 AI，据我们所知，它们有零意识。当 GPT-4 试图解决验证码失败时，它没有沮丧。当它设法欺骗人类工人解决验证码时，它没有快乐，它不感觉任何东西。
未来 AI 会变得有意识、发展感觉吗？我们不知道意识如何在人脑中产生，这也是一个政治世界。所以不可能知道它是否能在硅基上、在计算机上产生。目前，没有证据，几乎没人认为有。但未来我们会看到。
**主持人：** 谢谢。阿斯玛的问题是关于超级智能，我想听听您对赫拉利关于超级智能担忧的意见。也许您认为那可能会分散我们对更即时挑战的注意力？
**阿斯玛·姆哈拉：** 实际上，在我的书《联结》（Nexus）中，我们有两个维度。我们有 AI 的真实政治，有即时关切和风险，我完全同意您强调的所有风险，关于虚假信息、大规模操纵、认知操纵，关于这种预测算法可能成为一种微观算法独裁。您说您写了它，很高兴看到这种看法。蒂姆·伯纳斯 - 李（Tim Berners-Lee），万维网的创始人之一，说算法和那些大型平台可能是数字圈地，就像中世纪的圈地一样。是的，我同意所有这些观察和分析。
关于超级 AI 的想法，我们很难定义它，甚至很难预测它何时可能发生或不发生。也许这会产生一种末日感。我们试图去神秘化，处理、管理、减轻即时风险，关于自主武器，关于算法如何危及民主，因为我们没有权力，无法与机器谈判，无法与偏见谈判，无法与最大歧视风险谈判。
我的想法是，我们有足够的事情要做，关于您所说的狭隘的 AI、工具和代理。也许要有这种超级 AI 的灾难、末日愿景，可能会让我们冻结，影响我们的批判性思维。但我们有共同的斗争，试图解构、去神秘化并解决即时风险和政治选择。我担心超级 AI 这件事可能会制造一种迷雾，让我们对自己问题的意识模糊。但这只是一个小评论，关于《联结》的工作，因为我实际上同意您写和说的 90% 到 99% 的内容。
**赫拉利：** 我认为这种超级 AI 在 AI 神话中获得了大量关注，对于硅谷等地的一些主要参与者的动机来说，它确实非常重要。但你不需要超级 AI 来理解技术的威胁。即使是非常狭隘的 AI 也可能极具破坏性和危险性。我们已经看到了社交媒体，非常狭隘的 AI，这就足以破坏世界各地的民主。因为社会中最重要的工作之一，正如您作为记者和编辑所知道的，是新闻编辑。他们决定人们谈论什么。在昨天发生的百万件事中，你需要决定什么会是新闻头条。是关于美国选举、中东战争、乌克兰战争、气候变化、AI，还是百万件事？这是编辑非常重要的工作。
在 20 世纪，我们有列宁的例子，在他成为苏联独裁者之前，他是报纸编辑，那是他的工作。他编辑《火星报》（Iskra）。墨索里尼先是记者，然后是法西斯报纸编辑，然后是意大利独裁者。所以领导人的晋升路径是：记者、编辑、独裁者。你在这条路上的某个地方。但这条路径对你来说没有机会，因为这份工作已经被自动化了。想想今天谁是最重要的编辑，他们的名字是什么？他们没有名字，因为他们是 AI。谁编辑 TikTok？谁编辑 Facebook 新闻源？谁编辑 YouTube？谁决定你在信息流中看到的下一个视频？不是人类，是 AI。所以曾经由列宁和墨索里尼做的工作，现在由 AI 做。这在很大程度上解释了我们在世界各地看到的民主危机，因为民主是一场对话，而现在我们有 AI 控制人类对话。
这仍然是非常原始的 AI，不是超级智能，不是科幻小说。我们都知道，但我可以告诉你，我今天看到一些记者在这里，他们仍在为信息和实地报道而斗争。但阿斯玛，我想补充一点，也许是一个问题给赫拉利。两天前我们有美国选举，X 平台（Twitter）的案例，埃隆·马斯克要求他的团队改变算法，只是为了简化所有极右翼和超级右翼内容，并破坏、黑名单亲哈里斯的内容和账户。所以我们仍然有人类决策在算法模型背后，在偏见、选择、数据科学家中，人类仍然在。
**赫拉利：** 我的意思是，我认为情况处于价值链的开端。以前，整个链条都是人类。如果你看 100 年前，也许你有一个亿万富翁控制一家报纸。亿万富翁不是每天来报社办公室告诉人们“发布这个，不要发布那个”，他给出一般指导方针，然后你有人类编辑，然后你有不同部门的副编辑，全是人类。如果你想了解新闻行业如何运作，你只需要了解人类如何运作。
现在，这仅仅是 AI 革命的开端。仍然控制的是人类亿万富翁，你仍然在链条的某些部分有人类。但突然之间，你在链条中有了 AI。不是所有决定，但一些决定由 AI 做出，方式往往是人类无法预测的。所以今天了解新闻行业，仅仅了解人类是不够的，你开始需要了解 AI 如何做决定，它们做决定的方式与人类完全不同。这将每年增加，它们将做更多决定，它们将不仅仅是编辑，它们将越来越多地撰写文本、制作视频。所以仅仅了解新闻行业这一小部分世界，将越来越需要了解 AI。
最终，这是一个重要的点，AI 也可以是报纸的所有者，至少在美国是这样。我不知道法国法律是什么。这也回到了意识的问题。根据美国法律，不仅人类是“人”（persons），公司也是“人”。2010 年最高法院著名的“公民联合案”（Citizens United）裁决说，公司是拥有言论自由的人，特别是进行政治捐款的自由。
直到今天，这一直是法律虚构，因为如果你想想像 Twitter 或 Facebook 这样的公司，我们说 Facebook 做了一个决定，总有某个人类做了决定，可能是扎克伯格，可能是其他高管，可能是律师、会计师。只有人类能在 Facebook 做决定。现在 AI 可以做决定。如果你将 AI 公司化，如果你召集一群律师在房间里签署一些文件，现在你有一个 AI 公司。根据美国法律，这在法律上是可能的。这个 AI 现在是一个拥有权利的人。它可以拥有金钱，可以通过在股市投资赚取更多金钱。如果它非常智能，它会做出好的投资。它可能成为美国最富有的人。根据现行法律，你不需要任何新法律。美国最富有的人可以是 AI，而不是人类。这个 AI 可以决定购买《华盛顿邮报》，然后根据它自己不可理解的计算，规定《华盛顿邮报》的编辑方针。它不需要意识，也不需要任何新法律来做这件事。根据现有法律，这已经是可能的。
---
三、超级智能的迷思与即时风险
**阿斯玛：** 但确实，随着一些研究，比如强化学习等，我们看到越来越多的自主软件。
**赫拉利：** 是的。
**阿斯玛：** 这让我想起几个月前萨姆·奥特曼在 MIT 会议上说的话，我想我不记得清楚了，我们需要核实，但他说过，在不久的将来，价值的创造将由少数超级聪明的人、数据科学家完成。而对于我们这些人，我们只需要获得一些最低收入，以保证某种社会和平，没有战争。与此同时，他们将创造价值。这里我们有一个超级巨大的民主问题、社会契约问题、价值和公平分配的问题，以及我们作为人类的角色。因为毕竟，我们当然不被强迫工作和就业，这是两个不同的概念，等等。但最后，他们将私有化我们的未来。这有点像私有化，我们只是见证者，因为我们没有意识到正在发生的事情。
所以，也许我认为您和阿斯玛工作的意图是让人们理解硅谷所有叙事背后正在发生的事情，以及硅谷科技大师们的所有魔法，并试图成为某种第五权力、反权力，做出正确的选择。
**赫拉利：** 没错。我的意思是，在地球上 80 亿人类中，很少有人真正理解正在发生的事情。第一步只是让更多人意识到正在发生的事情，这样他们才能加入对话，拥有自己的斗争。甚至在斗争之前，你知道你有能力拥有自己的意见，代表你的利益。
就像我观察美国竞选活动，围绕 AI 在政治领域的所有炒作，实际上是不存在的。在哈里斯 - 特朗普辩论中，哈里斯提到 AI 我想只有一次，特朗普从未提到它。主持人从未问过，他们问其他事情，不问 AI。而下一届政府必须做出的最重要的决定之一将是关于 AI 的。有些人像埃隆·马斯克知道这一点，但大多数选民不知道。这种知识不平衡造成了巨大的权力不平衡。这就是学者工作的一部分，试图纠正这一点。
我认为，如果你问今天最重要的政治议题是什么，对于许多在美国和欧洲的人来说，他们会告诉你移民。像第一议题是移民。如果你想想为什么人们如此担心移民，他们会告诉你两件事：我们害怕移民会抢走我们的工作，我们害怕移民会带来关于如何管理社会和文化的不同想法，不同于我们的传统，我们害怕那个。这两种都是有效的担忧，你可以有不同的意见，赞成或反对，但这些是担忧。但最重要的是要说，如果你担心那个，你最大的恐惧应该是来自加利福尼亚的移民。因为有一波移民，数百万、数百万的 AI 移民来到法国，来到德国，来到世界各地。他们不需要签证，不需要坐船，不需要在半夜偷偷越过边境。他们已经在抢走报纸编辑和许多其他人的工作，将成为独裁者，我不介意。他们关于如何管理社会和文化的想法与任何人类社区的传统完全不同。所以如果人们害怕移民，这是他们应该思考的移民。
---
四、地缘政治格局与欧洲的困境
**主持人：** 谢谢。我有一个快速问题给两位。我们谈了很多关于美国，也谈了很多关于欧洲，但我想听听你们对两种应对 AI 方式的看法，即中国的国家控制与美国的企業控制。我们谈了很多，有没有第三条路？对欧洲、非洲或澳大利亚来说，有没有第三条路？也许对美国以外的世界来说？
**阿斯玛：** 当然，AI 处于美中竞争的核心。为什么？为了军事用途，这是一种领导地位的东西，非常基本。两周前，拜登政府最后一份报告说，AI 是下一个前沿技术，关乎国家安全和全球领导地位。所以我们有这种超级大国竞争，围绕 AI 及其整个价值链，芯片当然，人才，因为这将是一场地缘战略竞争。人才，我们刚谈到移民，这将是一个关键事物。在这两者之间，我们当然有台湾这个超级敏感案例，以及世界其他地区。
如果我们谈论欧洲，我们有一个巨大的问题和担忧，关于税收主权，因为我们根本没有预料到任何东西，真的什么都没有。我们有一些人才，有一些研究人员，但实际上他们被美国人才流失了，最聪明的大多数都被流失了。如果你把网络空间分割一下，你有所有的基础设施，数据中心、卫星，所有东西都是美国的，当你在欧洲时。我们有非常大的云依赖，非常大的对美国技术和美国科技巨头的依赖。当我们看到埃隆·马斯克，他不仅仅是一个超级科技企业家或小丑，他实际上是一个地缘战略棋子，是其中之一，也许是美国新方式之一。他实际上嵌入了美国新的权力政治，这种科技权力的投射。
关于欧洲科技，我们将挣扎，这对我们来说将非常漫长和痛苦，因为特朗普和马斯克，但特朗普，随着新的特朗普政府，将非常痛苦，因为这将是一种报复、保护主义、有时是混乱和暴力的动态。对欧洲来说，仅仅在特朗普政府面前存在将非常困难。在科技领域，我们不是相互依赖，我们只是依赖美国科技。
关于马斯克 - 特朗普联盟，有趣的是看到这是一种复古未来主义的东西，因为他们在价值观上回到过去，非常保守，有时种族主义，我们可以这么说。同时，他们在将美国投射到未来，关于火星、植入物、Neuralink、网络帽、机器人 Optimus，再次是马斯克。这是一种过去与未来之间的双重时间，安抚人们，安抚白人美国人关于他们的价值观，“让美国再次伟大”，以及我们将如何以这种超级科技权力让美国再次伟大，由马斯克嵌入。有趣的是看到他们如何拥有这种复古未来的叙事。
**赫拉利：** 很快，我有机会两个月前去达喀尔，我看到许多来自非洲各地的杰出研究人员。这个运动叫做 Ina，他们是 Ina，他们想利用非洲所说的 2000 种语言来创造新的、更多样化的 AI。非常有趣。他们非常小，但给了很多希望。也许我对这次对话太乐观了，但我们应该，有开源，不，不是开源，但他们正在为气候变化、健康问题构建非常有趣的东西，与大型大学合作，比如南非开普敦的大学。那可能构建也许第三条路，一些有趣的东西。
**主持人：** 您是否看到，再次，在国家控制的 AI 和企业控制的公司之间，有一些第三条路？
**赫拉利：** 关键问题再次是时间问题。AI 竞赛正在加速，欧洲和世界其他地区想加入，所以他们必须快。欧洲仍然有人才，当然有经济能力，基础设施，但它必须快，而且必须团结。没有机会，我的意思是，如果欧洲分裂，或者它的注意力被转移到其他问题上，它将失去。它最好的情景是成为美国的容器。它不会能够在没有任何自己基础设施控制的情况下成为第三力量，它肯定不能在 AI 竞赛中开辟第三条路。
在某种程度上，这是 19 世纪工业革命发生情况的逆转。在 19 世纪，始于英国和西欧的工业革命，将相当小的欧洲国家转变为全球帝国，而世界其他地区完全落后。这是一个教训，对现代中国来说最重要的历史教训是，我们在工业革命中错过了火车，我们绝不应该再让这种情况发生。这就是为什么他们对领导世界 AI 有非常强烈的决心。欧洲在某种程度上正好相反，它仍然生活在工业革命的租金中，生活在它昔日荣耀的残余中，它统治世界，而现在它冒着成为下一次重大技术革命接收端的危险。它仍然有机会，但唯一的机会是所有欧洲领导人，从马克龙到维克多·欧尔班，意识到这是欧洲生死攸关的时刻。如果我们只是互相争吵，或者浪费时间辩论移民，不是来自加利福尼亚的移民，而是如果这些将成为我们最重要的问题，我们最好的机会是成为美国殖民地。还有比那更糟的情景，是的。
**阿斯玛：** 谢谢。我只是同意，关于马里奥·德拉吉几周前的最后报告，说如果我们想要在新世纪、新政治世纪中有一点点生存机会，我们需要 8000 亿到 1 万亿欧元的投资，以及真正的技术工业战略。欧盟委员会说，天哪，我们有预算问题，所以不，谢谢。但很有趣，但下次吧。是的，我们有一个巨大的问题，不是意识问题，因为我认为我们意识到我们的处境，但这是一种政治不负责任，也许道德过错。
关于这条第三条路，我认为它不会来自欧洲，而是来自金砖国家。中国和美国之间的第三条路将是印度，将是巴西，可能将是沙特阿拉伯。你在书中谈到卡塔尔，是的，你有一些国家试图围绕科技、网络和 AI 建立区域强国。我们必须非常仔细地观察他们。
**主持人：** 谢谢阿斯玛。我想我们将进行另一次朗读。
（菲利普朗读，掌声）
---
五、多样性与开源辩论
**观众提问：** 晚上好，非常感谢你们的演讲。您说让 AI 软件开源将提供重要的保障。我知道很多人这么说，我没有意见，我不是。当我们见面时，您告诉我开源辩论有点像天主教与新教。也许您可以稍微阐述一下开源链接。我真的认为这可能是一种幻觉，因为枪的开源计划不会让枪变得不那么危险。所以我想请您稍微阐述一下开源链接。
**赫拉利：** 我基本上说的是，我对是否应该开源还是由少数专家控制，没有强烈的意见。我在历史上将其比作我们在许多宗教中有的辩论，宗教的代码应该开源，还是应该由少数专家控制。在基督教中，
尤瓦尔·赫拉利与阿斯玛·姆哈拉论人工智能、民主与人类未来
一、开源与集中权威的争论
例如，天主教教会认为，这是一段非常重要、强大且潜在危险的代码，若落入错误之手将后果不堪设想。因此，只有极少数专家——即牧师和神学家——才应该有权访问、解释和阐释这段代码。另一方面，新教教会则相信“开源”，认为应该将代码交给世界上每一个想要阅读、解释和阐释它的人，任由他们以任何方式理解。
几个世纪以来，这种辩论一直存在，且没有明确的赢家。你在几乎所有宗教中都能看到这种现象，世俗意识形态也是如此。比如在社会主义中，布尔什维克相信由少数专家控制一切，而其他社会主义和无政府主义运动则倾向于开源。
作为一名历史学家，我认为并没有明确的结论表明“开源”总是更好，或者“集中权威”总是更好。我们正处于人工智能革命的开端，我谨慎地建议不要陷入那种“堑壕战”的局面，即人们形成非常强烈的观点，认为必须是开源的，而任何持不同意见的人都是完全邪恶的，反之亦然。现在真的还为时过早，无法下定论。
二、历史经验：能否在灾难前停止创新
**问：** 晚上好。我有一个问题，作为历史学家，历史上我们是否曾在灾难发生前停止过某项创新？比如在人工智能造成灾难性后果之前，我们是否曾足够清醒和智慧，在边缘时刻将其制止？我在想核武器，我们是否必须经历战争和巨大的灾难才能停止并规范它？
**答：** 我们确实有例子，主要来自战争领域。在广岛和长崎之后，世界设法避免了全面核战争。化学武器也是如此，在一战恐怖之后，它们并未被完全禁止使用，但总体上禁令得以维持，甚至在二战中，德国人也遵守了禁止化学战的禁令。生物武器也是如此。
但问题是，人工智能不像核武器或化学武器，它有很多用途，它是双重用途的，不仅仅是一种武器。所以我认为这是一个错误的模型。不过，历史上有很多例子表明，你无法完全停止一项技术的发展，但任何技术都可以朝许多不同方向发展。乐观的情景是，你能将技术的发展引向积极的方向，而不是消极的方向，而不是完全停止它。历史上我们有不少成功的例子，来自医学、工业等领域。
但这一次，我们的容错空间要小得多。如果我们搞错了，后果将是真正灾难性的。
三、AI 的独立性与控制
**问：** 晚上好。我有一个很天真的问题。我很难想象人工智能能够变得独立或完全脱离人类。我的问题是，你想象人工智能会有一天完全独立吗？还是说它必然意味着某种人类控制？
**答：** 在遥远的未来，这确实是关于超级智能的问题。在遥远的未来，它有可能学会如何在地球上开采金属，如何建造发电站并自我维持。但现在不是这样。但很多人认为这意味着我们可以放松警惕，因为人工智能依赖我们，所以我们在控制中。
不，这仅仅意味着它有更多的理由来操纵我们。这是思考人工智能权力的一种方式。今天的人工智能并不独立。如果你把一个人工智能，比如 GPT-4，扔到某个地方的大草原中间，它什么也做不了。
思考它的正确方式是将其类比为律师的权力。想想世界上最聪明的律师，如果你把她扔到大草原中间，她是无力的，任何黑猩猩或大象都比她强壮。但在运行世界的官僚、法律、金融体系内，她比世界上所有的狮子加起来还要强大，因为所有的狮子加起来也无法理解一条法律，无法进行任何投资，不知道如何使用法律和金融体系。
现在，人工智能正在取代律师、会计师、编辑的角色。它们不需要从头建立系统，它们正在接管我们建立来控制世界的系统。在许多方面，它们已经比我们更好。没有律师能记住法国或欧盟的所有法律，这对人类记忆来说太多了，但人工智能可以。没有律师、会计师或投资者能跟踪股票交易所的所有债券和交易，但人工智能可以。
它们在一定程度上仍然依赖人类，但一旦它们学会如何操纵人类，这就好比我们仍然依赖植物和动物，但这并不意味着我们不控制它们。这意味着我们控制它们更多，因为我们的生存需要它们。
四、教育年轻一代：工具与意识
**问：** 晚上好。我很幸运能向您提问。我实际上需要一些实用建议。我非常喜欢我们需要提高意识、让更多人感兴趣并理解人工智能如何运作的想法。那么，我们如何与年轻一代谈论这件事？我是一名教师，在一所学校工作，那里的教授只是说“不要使用 ChatGPT，那是作弊”。这造成了一种障碍，因为他们确实使用 ChatGPT，他们比我们聪明得多，但他们不理解如何将其作为工具实际使用。如果我们想得更远一点，你有小孩子，有所有大一点的孩子，我们如何构建话语，鼓励年轻人学习，并鼓励他们以正确的方式使用它？我确信在你需要更多意识的想法背后，有一些关于如何传播这种意识、特别是如何吸引年轻一代的实用方法。谢谢。
**答：** 我很乐意分享我的经验。首先，这太容易了，他们已经非常感兴趣了。他们知道这是他们的未来，他们需要比任何人都更关心。
关于具体问题，比如使用 ChatGPT 写论文或其他东西，我告诉我的学生：你可以在我的课程中作弊，但你无法在人生中作弊。你在这里，有一个学习的机会。如果我认为我教给你的东西不有趣或不重要，你为什么在这里？你在浪费时间。如果你想学习一些东西，生活中很少有这样的机会，你可以只是花时间学习。你以后不会再有像这样的机会。
在某种程度上，与他们合作的方式是：你有什么担忧？如果你认为我给了你一篇关于路易十四历史的论文，他们不在乎，所以他们让 ChatGPT 写。好吧，我理解你。你认为这不相关。那么你认为你需要什么才能在以后的生活中生存？如果你只依赖人工智能，我们不需要你做任何事。你知道什么人工智能不知道？
我认为当我与年轻人交谈时，他们往往比老年人更担忧，而不是更少。当然，我们不能只是把它扔给他们。首先，我们需要自己理解，以便引导他们。
还有一件事我要说，人工智能正使世界以前所未有的速度变化，而老年人通常更难改变。那些已经在某些职业中站稳脚跟的人，往往对需要基本上从头学习专业感到恐惧，因为一切都在变化。然后他们试图阻止，只是说“不要使用它”。
我们的责任是努力理解正在发生的事情，以便能够引导年轻一代。让他们感兴趣是最容易的事，但我认为他们 deeply 感兴趣，也 deeply 恐惧。我们需要不要阻止它或把它扔给他们，而是我们自己努力理解，以便给他们适当的指导。
**阿斯玛·姆哈拉补充：** 你的问题很好。实际上没有实用的建议，我很抱歉，因为我们谈论的是一个新社会、一个新文明，我们谈论的是一段很长的历史。它有很多维度，不仅仅是一个问题、一个工具，没那么简单。
关于年轻人，我们成年人有一种非常奇怪且陈旧的想法，认为他们愚蠢、不感兴趣、不工作等等。这是一个非常陈旧的想法。我们必须接受这样一个事实：也许有了这些工具，我们有了构建知识的新混合用途。我们将与屏幕、人工智能一起构建知识，但也与书籍结合。我们必须建立这种新的构建知识的方式，以及对世界的新愿景，甚至如何建立社会纽带，如何相爱、阅读、思考世界，但通过屏幕和书籍，通过虚拟和现实，两者结合，而不是排他性的方式，比如你只是禁止这个 ChatGPT 东西，或者只使用书籍。这是愚蠢的，因为这不符合我们历史的方式，正如你所说。这将是一个漫长的过程，如果它漫长，有什么问题呢？
**问：** 为什么我们这么匆忙？
**阿斯玛·姆哈拉：** 因为变化非常快。
**尤瓦尔·赫拉利：** 是的，我理解围绕它的焦虑，因为它确实在快速移动。我认为这是关键点，它是无机的。我们习惯于有机的周期，相当缓慢，而人工智能的发展，如果你看 ChatGPT，它发展得太快了，现有的机构只是没有建立起来，不习惯处理如此快的进步。
五、个人行动与信息节食
**问：** 谢谢。我们可以作为个人做些什么？我们也应该考虑向致力于此问题的慈善机构捐款吗？
**答：** 我们从一开始就拥有力量。作为公民，我们投票给谁，在什么问题上投票。最重要的力量是加入组织、机构，无论是慈善的还是其他的。50 个人作为组织的一部分一起工作，远比 500 个孤立的行动者强大得多。所以无论哪种事业贴近你的心，加入该领域的组织，或者如果没有组织，就建立一个。
在个人层面上，我最好的建议是进行“信息节食”。我们现在被太多的信息淹没，其中大部分是垃圾信息。我们谈了很多关于现在控制着大量信息系统的人工智能，它们故意用贪婪、仇恨和恐惧淹没我们。这就像精神垃圾食品，它是成瘾的，让人生病，让整个社会生病。
当然，我不会把这种责任完全放在个人身上，最终是公司和政府负责。但在个人层面上，我们可以做的一件事是，就像很多人开始非常注意他们吃什么、吃多少一样，他们有饮食计划，我们需要以同样的方式对待我们的头脑，进行信息节食。非常注意我们是吃垃圾信息还是健康信息，以及数量。就像太多食物对你不好一样，太多信息对你也不好，因为头脑需要时间来消化，就像胃一样。如果你只是不断消费更多，这是算法通常希望你做的，你就没有时间消化、反思、冥想。你需要这些。这是个人可以做的。
**阿斯玛·姆哈拉补充：** 关于慈善机构，我知道有很多组织。在法国，我知道有“人性化技术中心”（Center for Humane Technology），由特里斯汀·哈里斯（Tristan Harris）创立，位于硅谷，他们做得很棒。我不知道他们是否是慈善机构，但我认为他们绝对值得支持。
六、安全、移民与军事决策
**问：** 抱歉，我回到另一个话题，移民。我想理解，你说过问题是移民会抢走我们的工作，这是人们通常的想法。但令人惊讶的是，你没有提到暴力和安全。仔细阅读了你的《人类简史》，特别是如果我没理解错，安全是人类增长的关键点之一。那么，你认为人工智能能解决或帮助管理安全问题吗？
**答：** 人工智能，就像在每个领域一样，有应用，它们可以是有益的，也可以是非常危险的。这取决于人工智能被谁使用，用于什么目的。当然，如果失控，它可能更加危险。
我们已经看到人工智能在许多领域的军事化。与好莱坞科幻电影让我们期待的不同，我们仍然没有看到杀手机器人，实际的射击和杀戮仍然主要由人类完成。但我们看到人工智能主要干预的第一个地方实际上是决策过程，比如选择目标。在以色列与哈马斯的战争、以色列与真主党的战争中，人工智能选择目标的能力。以前在战争中，决定轰炸哪栋建筑的决策完全由人类做出。
现在，人工智能越来越多地参与决策过程。有一个巨大的辩论，我不知道答案，即它们在多大程度上实际上是在选择目标，还是只是推荐，然后由人类验证。但它们肯定已经能够完全由自己选择目标。
快进几年，一旦战争双方都有人工智能，这就回到了慢与快的问题。仅仅按照人工智能所说的做的压力将是几乎不可抗拒的，因为如果双方都使用人工智能来选择目标，一方说“是的，但人工智能说轰炸这个地方，我们首先必须经过人工智能推荐，现在我们要召集人类分析师去检查所有数据，确保它是正确的，那里没有平民等等”，而另一方直接轰炸。很明显谁会赢得战争。
所以，给予人工智能更大军事决策控制权的压力将越来越强烈，即使在我们拥有杀手机器人之前。关于这方面的伦理方面、地缘政治方面，有巨大的辩论。但应该清楚的是，人工智能已经在军事和不安全领域引起巨大的革命。要理解现在的新闻市场，我们需要理解人工智能如何做出决策，要理解战争，越来越需要这样。
七、AI 是工具还是怪物
**问：** 非常感谢你们的讲座，我印象非常深刻，我想表达我的感激之情。然而，既然在今天你的讲座中，人工智能似乎是下一个时代的大怪物，在我看来，这完全错了，因为它应该只被用作我们使用的工具，基本上使我们的日常任务更容易。使用它的最好方法是基本上让它变得无害。人们在如何使用技术方面有很多无知。如果我们让人们意识到如何使用它，正确使用它，并创造一定的意识，我不认为它将成为下一个潘多拉魔盒。
**答：** 我同意。我不是预言人工智能必然毁灭人类文明。我们各种学者，我也是其中之一，我们在做的事情是描绘几个危险的场景，在不同领域可能发生错误的事情。我们这样做是为了增加这种人工智能素养或技术素养。如果更多的人意识到危险，那么个人和社会都会增加我们做出正确选择的机会，关于如何发展这些技术，如何使用这些技术。然后我们可以避免最坏的情况，并享受人工智能的巨大潜在好处，这在从医疗保健到教育到许多领域肯定是存在的。人工智能可以对人类做出巨大的积极贡献。
是的，这个想法是让更多的人理解并加入辩论，希望我们会做出正确的决定。
**问：** 只想非常感谢尤瓦尔今晚在这里与我们在一起。
[掌声]