人工智能、民主与文明未来：约书亚·本吉奥与尤瓦尔·赫拉利对谈录（第一部分）
一、开场与人工智能的核心威胁界定
主持人瓦西·卡佩洛斯（Vashi Capellos）开场致意： “大家好，我是瓦西·卡佩洛斯，长期关注政治领域，这也是今天我和约书亚·本吉奥（Yoshua Bengio）教授、尤瓦尔·赫拉利（Yuval Noah Harari）教授讨论的核心方向。非常高兴两位今天能到场，感谢各位的聆听。首先我要声明，我本人不是深度伪造内容，也不是人工智能。” 本吉奥教授回应：“这倒让人放心。” 主持人：“我想接下来请两位先聚焦当下最紧迫的问题：在你们看来，当前人工智能构成的威胁该如何向现场观众简洁地描述？我们先请赫拉利教授发言。”
尤瓦尔·赫拉利：关于人工智能，有两件事是所有人都需要清楚的：第一，它是人类历史上第一种可以自主决策的技术；第二，它也是人类历史上第一种可以自主创造观念的技术。 现在很多人试图安抚我们，说每当新技术出现时，人们都会担心其后果，最终我们总能应对，但人工智能和历史上任何技术都完全不同。无论是石刀还是原子弹，此前所有工具都是在强化人类的能力——因为如何使用原子弹，始终由人类决定。但人工智能可以自主决策，这意味着它有可能从人类手中夺走权力。 其次，历史上所有信息传播技术都只能复制或传播人类已有的观念：比如印刷机可以印刷《圣经》，但无法撰写《圣经》，也无法撰写《圣经》的注释；而如今的大语言模型（如ChatGPT）可以撰写、创作全新的《圣经》注释，或是任何其他内容，未来甚至有可能为未来的宗教创作全新的“圣典”。人类一直幻想从超智能存在那里获得自己的宗教经典，如今这一幻想正在成为现实。 这种能力当然有很多正向用途，但负面用途同样不可计数。它和我们此前遇到的所有技术都有本质区别，核心就在于它有能力从人类手中夺走权力。
主持人：本吉奥教授，您如何看待当前人工智能构成的核心威胁？ 约书亚·本吉奥：当前人工智能的威胁有很多，但我最关注的两大核心威胁中，短期威胁甚至可能在美国下一届大选时就显现：我们此前讨论过的大语言模型衍生工具，可能被用于散播宣传、虚假信息，以及生成个性化骚扰内容，诱导选民改变投票意向。 第二个威胁可能在未来几年，甚至十年内出现（目前很难精准判断时间线）：如果我们填补当前技术前沿与人类智能能力之间的差距，造出至少和人类一样聪明的机器，这些机器会自动拥有诸多优势——它们可以获取所有数据，拥有数字通信带宽，能比人类更快地获取、共享信息，这些优势会让它们在某些方面比人类更聪明。我们已经在类似ChatGPT的系统中看到，某些方面它们比人类更博学，但另一些方面又极其愚蠢。 （主持人追问：如果人工智能真的比人类更聪明，会带来什么威胁？是生存性威胁吗？您能解释一下吗？虽然这个话题很沉重，但我们需要了解。） 本吉奥：是的，这是生存性威胁。对此有很多未知数，杰弗里·辛顿（Geoffrey Hinton）和其他学者都用过这样一个类比：想象我们创造了一个新物种，这个物种的智能比人类高，就像人类比老鼠的智能高一样——我们经常问自己，人类对老鼠来说意味着什么？
二、短期风险：选举干预与就业冲击
（主持人转向赫拉利：赫拉利教授，您一直 extensively 撰写人工智能对民主的威胁，尤其是近期的威胁，您是否认同这种长期的生存性威胁确实存在？） 尤瓦尔·赫拉利：完全同意，而且短期威胁同样非常严峻，首当其冲的就是民主崩溃。 如果人工智能真的发展到比人类更聪明的程度，我完全认同那个青蛙的类比——这对我们来说绝非吉兆。 换个角度思考：人工智能的进化速度比生物进化快了无数倍。如果当今的人工智能相当于阿米巴原虫，那么未来可能出现比霸王龙更强大的形态，而这个过程不需要几十亿年，可能只需要几年时间。 主持人：本吉奥教授，您刚提到的这个类比非常发人深省。作为非专业的普通听众，我们听到这些内容会感到非常担忧。您问这个问题不是为了放大恐惧，而是想引导我们讨论如何规避这些风险，以及政策制定者需要多快做出响应。在您看来，相关时间线大概是怎样的？ 约书亚·本吉奥：问题的难点在于，我们对时间线的确定性非常低。可能只需要几年时间，我们就能掌握构建至少和人类一样聪明、甚至比人类更聪明的机器的核心原理。 正是因为存在这么大的不确定性，我们尤其是各国政府，有责任为最坏情况做准备——至少是 plausible 的最坏情况，比如五年内就出现相关风险（当然我也不能确定）。本吉奥教授也多次强调过这一点：过渡期的应对至关重要。如果风险在几十年后才出现，我们或许还有时间让社会适应；如果只有五年时间，看起来几乎毫无希望。所以我们能做什么？在风险更高的领域放慢发展速度，同时尽早搭建合适的护栏，尽可能降低我们今天讨论的所有风险。
三、监管路径：从部署端规则到敏捷治理
主持人：两位都是要求AI公司暂停发展的公开信的联署人，这封信让AI风险问题进入了公众视野，你们为什么愿意联署这封信？ 尤瓦尔·赫拉利：因为这本质上是对人类的生存性威胁。我们最需要的是时间。人类社会的适应能力极强，但适应需要时间。回顾上一次重大技术革命——工业革命，我们花了整整几代人的时间，才摸索出相对合理的工业社会运行模式，过程中经历了纳粹主义、苏联共产主义这类失败的实验，导致数百万人死亡。现在我们面对的是比工业革命时期的火车、无线电、电力更强大的技术，当然有可能发展出善用AI的良好社会，但这需要时间。我们必须避免再出现类似的失败实验，因为如果这次我们再犯错，将不会有第二次机会，人类很可能无法幸存——我们之所以能挺过工业革命的失败实验，仅仅是因为当时的技术还不够强大，无法彻底毁灭我们。所以我们必须极度谨慎，放慢发展的脚步。 约书亚·本吉奥：我并没有发起这封信，只是选择了联署。我认为这是一次非常好的机会，可以把这个问题推到公众和政府的视野中。事实上，这封信发出后，很多公司内部也在闭门讨论相关问题，从这个角度看，这封信已经达到了它的核心目的，这也是我选择联署的主要原因。 （主持人追问：赫拉利教授，您联署的时候，觉得公司会愿意暂停发展吗？） 尤瓦尔·赫拉利：我从不认为公司会愿意暂停，原因和本吉奥教授说的一样：企业面临激烈的市场竞争，如果一家公司暂停，另一家就会抢占它的市场。但我们至少希望唤起公众和政府的注意，因为监管这类危险技术发展，最终是政府的责任。 unfortunately，近年来政治讨论完全没关注这个问题：如果看各政党讨论的核心政治议题，根本没有人提到AI，但这应该成为每次选举的核心议题之一——因为它不仅是长期的生存性风险，更是和每个人日常生活息息相关的 immediate 问题：我们的工作、谁来决定我们的人生——你去银行申请贷款， increasingly 是AI在决定是否通过；你申请大学、找工作， increasingly 也是AI在做决策，甚至你被拒绝的时候，根本不知道原因。这些问题应该成为我们的政治优先事项，我最初 hopes 这封信能把问题推到关注中心，很高兴看到它至少在一定程度上实现了这个目标。 主持人：本吉奥教授，您是否认同当前围绕AI监管存在政治上的不作为？ 约书亚·本吉奥：是的。大部分政客只想谈论正面的内容，其实很多AI专家也只想讲AI好的一面，但现实就是现实，我们必须面对风险。政客需要时间来接受他们有责任保护公众免受短期和长期风险，而不仅仅是关注AI带来的经济效益、医疗福利等好处。此外，媒体也有责任向政客提出相关问题，我自身也负有这份责任。 （主持人：不过得益于这封信和杰弗里·辛顿的公开警告，尤其是我们所在的美国，政客的 awareness 似乎有所提升，召开了国会听证会，甚至OpenAI的萨姆·奥尔特曼（Samuel Altman）在听证会上公开 pleading 政府加强AI监管，您认为这有多重要？） 尤瓦尔·赫拉利：这非常重要，我们必须尽快行动。我们谈论监管时，需要区分两类监管：一类是实验室里AI研发的监管，一类是AI向公众部署的监管。后者更紧迫，也更容易落地。有一些非常简单的规则需要立即出台：比如AI不得伪造人类身份，如果用户和对方交流，必须能明确知道对方是人类还是AI。如果我们不这么做，公共对话会彻底崩溃，民主也无法生存。这就像几千年来我们都有反假币的法律——如果没有这类法律，金融系统会崩溃。如今虽然伪造货币很容易，但没人敢做，因为一旦被抓要坐20年牢。我们需要对伪造人类身份出台同等级别的严厉法律。此外，AI向公众部署的流程应该和新药、新车上市一样，必须经过安全审查获得批准才能上线，不能直接投入具有巨大社会影响的公共领域。 约书亚·本吉奥：部署端并非完全处于无监管状态，我们已经有数据法、通信法，但这些法律当初并不是为了应对我们现在讨论的问题设计的。比如目前没有任何法律禁止伪造人类身份，而伪造货币的惩罚极重，因为相关 stakes 极高，伪造人类身份的 stakes 和伪造货币一样高。 我比较担心美国的监管路径：在我看来，美国国会近年来倾向于把所有规则都直接写进法律，而不是像加拿大那样出台原则性的立法，把细则制定权授权给专门的监管机构。因为技术发展太快，我们现在能想到的恶意用法，六个月后可能就已经过时了，需要监管机构有足够的敏捷性来应对变化，但这恰恰不是美国政府的强项——尤其是共和党，不愿意把任何权力下放给监管机构，这可能会严重阻碍有效的政府干预。
四、民主防线的构建：对抗AI对公共对话的侵蚀
主持人：赫拉利教授，您刚才提到了一些简单的部署端规则，还有其他建议吗？ 尤瓦尔·赫拉利：还有一个低技术门槛的要求：如果用户想要注册社交媒体账号，必须前往实体办公点，提交纸质申请材料。这种流程的低效恰恰是它的优势，而非缺陷——我们办理护照、驾照时也需要经历类似的线下流程，完全可以要求社交媒体账号也遵循这类要求，这将直接清除绝大多数网络机器人，帮助我们挽救民主。 我们需要记住一个悖论：在美国、以色列这样的国家，我们拥有史上最强大、最先进的信息技术，但人们已经无法正常对话，无法在任何事上达成共识——哪怕是上一届选举谁赢了，或是疫苗是否有用，都存在巨大分歧。为什么我们有了如此强大的信息技术，公共对话反而在崩溃？说明我们的信息技术部署方式存在根本性的问题。在部署更强大的AI工具之前，我们必须停下来思考清楚，否则一旦出现和人聊天分不清对方是AI还是人类的情况，民主就完了：人类不会愿意花时间试图说服一个没有思想的机器人，但机器人可以花时间和用户建立亲密关系，进而更容易改变用户的观点。 过去几年我们已经知道，社交媒体上存在一场注意力争夺战，而新一代AI出现后，争夺战的前线正从“注意力”转向“亲密感”。如果我们不加以监管，未来很可能出现几十亿个AI代理，试图获取我们的亲密感，因为这是说服我们购买产品、投票给某个政治家最有效的方式。一旦这种情况发生，将导致社会彻底崩溃。 约书亚·本吉奥：赫拉利教授描述的这种情况，让我想到此前围绕社交媒体影响民主的讨论，以及要求政府更多干预时遭遇的阻力：很多人把监管和言论自由挂钩，反对政府过度介入。但我们必须意识到，这里存在一个恶性循环：民主越健康，越容易出台有效的监管；但民主越脆弱，越难以形成有效的监管共识。人类天生容易被影响，并不总是理性的——如果我们信任一个人，往往会不假思索地接受他的观点，社交媒体放大了这一点，AI会进一步放大这种效应。而且这里存在明显的利益冲突：企业希望监管越少越好，部分民众也会反对监管，因为觉得麻烦。还有人把监管和言论自由绑定，但这只是大公司使用的烟雾弹：机器人没有言论自由，只有人类才有。封禁机器人的账号和封禁人类的账号完全是两回事，机器人没有任何权利，谁会站出来为机器人的言论自由辩护呢？ 主持人：我完全认同您说的“烟雾弹”的判断，但这种说法确实说服了部分不同政治立场的人。对于那些已经习惯了社交媒体自由、觉得去实体办公室办账号非常麻烦的用户，我们该怎么说服他们接受这类规定？ 约书亚·本吉奥：这就是我们今天举办这场讨论的原因：我们需要让足够多的人意识到风险，因为失去民主意味着失去自由、福利，以及自由民主带来的所有好处。我们需要时间，需要大量的讨论，而意识到失去珍贵之物的风险，恐怕是推动人们接受麻烦程序的最有效方式。
五、治理争议：拒绝极权方案，坚守人类主体性
主持人：还有人提出了更极端的方案，比如建立世界政府，甚至实行极权制度来管控AI，理由是只有这样才能避免人类作恶。您怎么看待这类提议？ 尤瓦尔·赫拉利：世界政府是一个非常糟糕的想法，既不切实际，就算真的能建立也不应该这么做。确实有人提出，我们需要建立某种威权或极权制度，才能拯救人类，但我觉得唯一现实的拯救人类的方式，首先是拯救民主。因为和民主制度相比，极权制度在管控AI、保持AI可控方面要糟糕得多。传统极权制度的核心问题在于，它们总认为自己不会犯错，没有强大的自我纠正机制来识别和修正自己的错误。如果一个极权政权或超级强大的世界政府把权力交给AI，一旦AI犯错，将没有任何机制可以纠正。我们必须明确，AI不是全知全能的，它拥有强大的信息处理能力，但信息不等于真理，从信息到真理、再到智慧之间还有很长的路。如果我们给AI太多权力，它必然会犯错。只有民主制度拥有制衡机制，可以尝试新事物，如果出现问题可以识别错误并纠正。 约书亚·本吉奥：极权方案的诱惑在于，表面上看起来非常合理：如果我们给每个人身上装一个监控设备，记录所有行为，再用一个中央AI来监控，确保没有人做出危害人类的事，比如下达屠杀所有人的命令，我们似乎会更安全。但如果你忽略尤瓦尔说过的所有问题，这个想法确实有吸引力。可问题是，如果我们所有人都知道制造危险AI的方法，怎么确保没有人真的去执行？靠监控和限制自由来实现安全，是一个非常危险的场景。我理解为什么有人会提出这种方案，但它不是正确的解决路径。我们应该思考的是，有没有其他组织社会的方式，既能保障AI安全，又能保留人类的价值观、人权、尊严和民主。这个问题很难，但值得我们投入最优秀的脑力和时间去思考。
六、行动方向：公众共识与人类自我提升
主持人：本吉奥教授，从您的直觉来看，我们有可能找到这样的替代方案吗？ 约书亚·本吉奥：这非常难，尤其如果我们没有足够的时间的话。但当你觉得某个目标看起来比个人能力大得多、甚至希望渺茫的时候，我们的道德责任仍然是去尝试。就像人们为了应对气候变化抗争了几十年，哪怕很多年看起来都毫无希望，仍然有人在坚持。AI可能给我们带来全民健康、优质教育、解决气候变化，甚至彻底改革社会，实现比当前更完善的民主和更高的民生福祉，这些可能性都值得我们去努力。 （主持人：赫拉利教授，您之前说您既不是乐观主义者也不是悲观主义者，只是认为我们有道德责任争取最好的结果。您觉得最好的结果有可能实现吗？） 尤瓦尔·赫拉利：本质上，这个问题是我们自己创造的，只要AI还没有从我们手中夺走权力，我们仍然有能力解决它。不过我想额外补充一个思考：我们总是把智能当成一件绝对的好事，但我们是地球上目前最聪明的物种，看看我们的智能把我们带到了什么地步——我们发明的东西让我们现在讨论要不要给每个人戴上电子脚铐、摧毁隐私来保护我们自己。事实上，最聪明的智能体往往也是最愚蠢的，青蛙不会做出我们这类自我毁灭的事。同样的，人工智能很可能也会在某些方面表现得极其愚蠢。所以归根结底，问题出在我们自己身上，而不是AI。比如我们讨论的民主崩溃问题，主要原因是恶意人类行为体在利用AI作恶。如果我们花在发展AI同样多的时间，去理解和发展我们自己的心智，我们就是安全的。 约书亚·本吉奥：我完全同意。而且我认为这是唯一可行的路径。如果我们想避免之前讨论的“老大哥”式极权政权，唯一的方式是改变人类自身。我们知道，人类中存在更道德、更智慧、更了解自己、更有同情心、更理性的群体，我们已经知道这种可能性是存在的。问题是如何将这种特质推广到全人类，这就是我之前提到的“乌托邦”。 主持人：您提到要改变社会、改变人类，会不会让很多只看了AI相关头条新闻的听众觉得这个方案太极端，反而产生抵触，甚至把潜在的支持者推走？有没有这样的风险？ 约书亚·本吉奥：我理解身边人的担忧，他们认为聚焦这些生存性风险、民主崩溃的风险，会让我们忽略AI当前已经存在的问题：比如算法偏见、歧视，以及社会现有的不公。但我们需要同时推进所有工作，而且不同问题的解决方案可能存在交集。 尤瓦尔·赫拉利：首先我们需要让社会关注这些问题，这不是危言耸听，除了长期生存性风险，AI还会让很多即时的经济社会问题恶化，就业就是非常核心的关切。AI不会消灭所有人类工作，但会消灭部分工作，同时创造很多新工作，但转型过程非常困难。大家要记住，希特勒上台的直接原因是德国经历了三年约25%的失业率。就算20年后整体会好转，我们等不了20年——三四年的高失业率就足以引发社会动荡。 此外，当前政治系统中严重缺乏深度理解技术及其影响的人才。大部分懂技术的人都想去当下一个扎克伯格、下一个埃隆·马斯克，去创业赚几十亿美元，没人愿意从政去提升公众认知、出台监管政策，只有极少数例外，比如台湾的数字化部长唐凤（Audrey Tang），她原本是黑客，本可以去创业赚大钱，却选择从政，帮助公众和政治系统理解、监管这类具有爆炸性潜力的技术。所以本质上，我们需要更少的扎克伯格和马斯克，更多的唐凤。
主持人：今天的讨论让我们所有人都对两位提出的风险有了更清晰的认识，非常感谢两位的精彩分享。
三、访谈收尾致谢
主持人首先总结道：“今天两位嘉宾分享的内容极具价值，这场交流对我们而言是一次非常愉快的体验。我切实感受到，在听完今天的分享后，我们不必再为此忧心忡忡、彻夜难眠，而是掌握了更多相关知识，这本身就是非常宝贵的收获。非常感谢各位今天到场聆听，也再次向两位嘉宾致以诚挚的谢意。” 随后两位嘉宾共同向观众致谢：“谢谢大家。”