颠覆性技术如何重塑世界？——尼古拉斯·汤普森与尤瓦尔·赫拉利对话录
一、引言：历史、故事与人工智能
**问：** 大家好，很高兴见到各位。今天非常荣幸能与尤瓦尔·赫拉利先生在一起。众所周知，他不仅是一位伟大的历史学家，更是一位非常善良的人。在后台休息室里，除了签售书籍、回答我关于以色列政治的问题外，他还给我的 10 岁孩子读了睡前故事。我的孩子非常崇拜《不可阻挡》（*Unstoppable*），所以非常感谢你。
**答：** 这是我的荣幸。
**问：** 好的，那么我想在这本书的框架下进行一些探讨。我会回顾书中提到的一些历史和故事，向你询问书中人物及其代表的思想，探讨你关于历史、人工智能和民主的论点，最后希望留些时间讨论你书中那些关于末日场景的思想实验。这样可以吗？
**答：** 当然可以。我有一系列问题，是几千名读者寄来的，我很感激，我们也会涉及到那些。
二、封面之谜：鸽子与信息洪流
**问：** 第一个问题，那只鸟是什么？
**答：** 哦，这是个难题。那是鸽子。
**问：** 谢谢。那只鸟代表什么？为什么它出现在你关于世界历史的书封面上？
**答：** 主要有两个原因。首先，在希伯来语中，鸽子和斑鸠没有区别。我知道在英语世界，鸽子常被称为“长着翅膀的老鼠”，而斑鸠被视为和平的白色天使。但在希伯来语中它们是同一种鸟，而且中东地区没有斑鸠。也许这就是中东没有和平的原因，那里只有鸽子。其次，在《圣经》诺亚方舟的故事中，诺亚派出的是一只鸽子，而不是斑鸠，去查看洪水是否退去。现在我们正生活在信息洪流的 midst 中，这只鸽子就像我的信使，被派去查看洪水是否结束。
另一个原因是，书中的主要角色之一是一只名叫谢拉米（Cher Ami）的鸽子。一百年前，它基本上是世界上最著名的鸟，我想它现在仍陈列在史密森尼博物馆，离这里不远。
**问：** 请讲讲谢拉米的故事，我认为这对你书中的论点很重要。这只鸟是如何成为世界上最著名的鸟的？
三、谢拉米的故事：真相与叙事的博弈
**答：** 第一次世界大战期间，美国远征军在法国北部与德军作战。一个美国营被包围在德军后方，美国炮兵试图提供掩护火力，但不知道他们的确切位置，炮弹反而落到了美国士兵身上，加剧了困境。他们试图派信使去师部报告位置，但没人能穿过德军防线。于是他们转向唯一能做到的东西——信鸽谢拉米。指挥官在一张小纸片上写下笔记，绑在鸽子腿上，将其放飞。鸽子穿过德军火力，被击中几次，失去了一条腿，幸好不是绑着纸条的那条。它胸部中弹，但还是设法穿过去了。炮火停止，援军被派往正确地点，那个被称为“失踪营”的部队得救了。
谢拉米被誉为拯救了数百名美国士兵免于死亡或被俘的鸟。这个故事在军队通讯、报纸、电影和儿童读物中反复传播。直到今天，关于谢拉米的儿童读物仍然存在。
然而，最近的历史研究深入档案后，对这个故事提出了许多疑问。首先，总部在鸽子到达之前就已经知道了营的正确位置。其次，没人确定那只鸽子真的是谢拉米，可能是完全不同的另一只鸽子。尽管如此，谢拉米仍在史密森尼博物馆陈列多年，成为一战老兵的朝圣地，再次成为世界上最著名的鸟。
这正是这本书要探讨的一部分：信息的力量，以及真相与我们讲述的故事之间的张力，还有那些不一定真实的叙事的有效性。
**问：** 这引起了我的注意，因为正如你可能听说的，在美国我们仍然有一些这类问题，而且往往涉及动物。我想引用一位现代哲学家的话，他昨天说：“如果为了引起美国媒体对美国人民苦难的关注，我必须创造故事，那么我就会这么做。”你支持这种做法吗？
**答：** 我不是说支持，我是说这就是正在发生的事情。
四、真理的代价与虚构的优势
**答：** 纵观人类历史，大多数信息都不是真相。真相是信息中稀有且昂贵的子集。如果你想写一个真实的故事，需要投入大量时间、精力和金钱。而虚构或谎言非常便宜，你只需写下脑海中浮现的第一个念头。真相往往很复杂，因为现实是复杂的；而虚构可以做得尽可能简单，人们通常更喜欢简单的故事。真相的最后一个缺点是，真相往往是痛苦的，无论是在个人层面还是国家层面。关于以色列政治，有很多事情人们不想了解关于自己、关于国家、关于世界。而虚构可以做得尽可能令人愉悦。
在一场竞争中，一方是便宜、简单且令人愉悦的，另一方是昂贵、复杂且有时痛苦的，显然前者会赢，除非你给真相一些帮助。
**问：** 这正是我昨天向董事会提出的论点，当时我正在为我们的事实核查部门筹集资金。那么让我问你关于“高贵的谎言”的问题。显然，历史是由那些讲述故事的人决定的，这些故事要么包含真相，要么不包含。你并没有像我开始时预期的那样排斥“高贵的谎言”概念。请解释一下，在什么情况下，为了某种更大的利益，讲故事的人可以不完全真实地讲述？
**答：** 故事不可能成为现实的精确复制品。有一个著名的博尔赫斯故事，关于一个帝国想要创建一张完全真实的地图，精确呈现现实。他们最终制作了一张比例为 1:1 的地图，因为这是唯一 100% 真实且准确的地图，不会简化或改变任何东西。结果帝国被一张与帝国一样大的地图覆盖，制作这张地图的努力耗尽了帝国的资源，导致帝国崩溃。
我们在某种程度上处于类似的情况。世界上存在一种表征危机，没有一种表征似乎足够好，因为没有任何表征能成为世界的 1:1 地图，这根本不可能。我们不确定该怎么办。
我的立场是，每个故事在某种程度上都是虚构的，因为你无法讲述全部真相，这根本不可能。有些情况下，是的，你需要简化。作为一个写了 500 页世界历史的人，我知道有时必须简化。但虚构本身不一定是坏的。足球或棒球规则是虚构的，是我们发明的，这并不意味着它们是坏的。虚构文学并非全是坏的。关键在于虚构应该承认其虚构性，而不是假装是现实。
五、高贵的谎言与自我修正机制
**答：** 如果你考虑文化或政治影响，如果你想团结大量人群，你需要使用一些故事、一些神话，这不一定是坏的，只要你承认你在做什么。
如果我们比较人类历史的两个基础文本，比如《十诫》和美国宪法。一个文本承认其虚构性，另一个没有。《十诫》没有承认它源于人类想象，它声称是神圣智慧的产物，从天而降。其缺点是，它没有机制来承认和纠正自己的错误。例如，《十诫》写于公元前第一个千年左右，它支持奴隶制。第十诫实际上支持奴隶制，它说你可以拥有奴隶，只要你不羡慕邻居的奴隶。这意味着上帝不反对人们拥有奴隶，只反对羡慕邻居的奴隶。
相比之下，美国宪法也像《十诫》一样，曾作为大规模人类合作、法律体系和政治体系的基础。但《十诫》以“我是耶和华你的上帝”开头，而美国宪法以“我们人民”开头。我们人民发明了这份文件，我们发明了这些法律。因此，因为它承认源于人类想象，是人类写了这份文件，它也承认文件中可能存在错误，并有自我修正的机制。这最终被用来修正美国宪法，宪法最初支持奴隶制，后来被修正禁止奴隶制。
而《十诫》因为声称来自天堂，没有机制改变文本，没有第十一诫告诉人们，如果你不喜欢第十诫，只要有三分之二多数就可以改变文本。没有这样的机制。
**问：** 我想教皇方济各改变第二条诫命的能力可能比美国国会改变第二修正案的能力更强。
**答：** 这就是我们的现状。
六、迦太基会议：算法推荐权的先例
**问：** 好的，让我们继续宗教话题。我想让你讲讲我认为在书中至少三个关键部分出现的故事，即希波和迦太基会议的故事，以及选择将《提摩太前书》而非《保罗与忒古拉行传》纳入新约的后果。请解释这个故事，我认为这是对你刚才关于故事力量论述的重要后续。我发誓我们马上会谈到人工智能，但这是前提。
**答：** 我们实际上可以从人工智能开始，这与迦太基会议非常相关。该会议于公元 397 年在今天的突尼斯举行。因为人工智能塑造人类历史的第一个大事情之一，是掌握了推荐权。如果你上社交媒体，你看到的内容是社交媒体算法推荐的结果。向人们推荐读什么故事或看什么视频的力量极其重要。历史上推荐权最好的例子之一，是创造《圣经》新约的编辑过程。
创造新约的人不是文本的作者，他们是编辑，决定什么纳入，什么排除。因为在耶稣或圣保罗的时代，没有新约，没有《圣经》。他们从未读过《圣经》，它不存在。在基督教的前四个世纪，基督徒产生了大量且多样的文本。有关于基督的故事，有末日预言，有圣保罗和其他教会领袖的信，有很多假信，人们在圣保罗死后 200 年以他的名义写东西。基督教社区再次被大量文本淹没。
问题出现了：好基督徒应该读什么？他们需要一份推荐清单，就像今天我们淹没在电视剧中，需要一份观看推荐清单。
公元 4 世纪末，成立了一个委员会，一个教会会议，神学家、主教们首先在希波（今天的阿尔及利亚），然后在迦太基（今天的突尼斯）会面，敲定了一份推荐清单，前 27 篇文本，每个基督徒都应该读。这成为了新约。他们没有写文本，而是审视当时存在的非常大量的文本，选择什么纳入，什么排除。这塑造了基督教，以及数十亿人在众多问题上的观点，直到今天。
举一个例子，当时基督徒中非常流行的文本之一是《保罗与忒古拉行传》。忒古拉是当时最受喜爱的圣徒之一，她是保罗的女性门徒，是社区的领袖，她传道、行神迹、施洗，被誉为女性可以在教会中领导、传道、施洗和行神迹的榜样。这是关于女性的一种观点。
另一个文本是一封据称来自圣保罗给提摩太的信，大多数学者今天认为这是后来的伪造，不是圣保罗在公元一世纪写的，可能是在二世纪以他的名义伪造的。在这封信中，关于女性及其在教会中的角色有完全不同的观点。它说女性应该顺从、应该沉默、永远不应该领导，她们应该通过做男人告诉她们做的任何事情以及生孩子、养孩子来实现自我。这是她们在生活中的角色。
迦太基的委员会决定将《保罗与忒古拉行传》排除在前 27 篇之外，但纳入这封给提摩太的信，即《提摩太前书》，至今仍是新约的一部分。这塑造了数十亿基督徒关于女性在教会中以及总体上观点，长达 1500 多年。这就是推荐权的力量。
现在，这种权力，这与人工智能相连，正越来越多地掌握在人工智能算法手中。
七、民主的本质：对话与机器人的闯入
**答：** 我们现在有关于社交媒体和假新闻、阴谋论传播的巨大公共辩论。你听到像埃隆·马斯克或马克·扎克伯格这样的人说，我们不想审查任何人，这是言论自由的问题。但社交媒体上这类信息传播的问题不在于人类用户生产某些谎言或虚构或假新闻。真正的问题是企业算法决定推荐哪些故事，推广哪些故事。主教们在迦太基会议中拥有的权力，以及几代报纸编辑拥有的权力，现在掌握在社交媒体算法手中。这应该是辩论的中心，我们将谈到监管。这不是关于人类的言论自由，而是关于企业算法的责任。因为如果企业算法决定推广某个阴谋论，这不是发明它的人的责任，这是算法及其人类企业主的决定。这应该是辩论的中心。
**问：** 我听到的是，如果迦太基会议稍有不同，女性会更早获得赋权，我们可能会早几个世纪就有女权革命，可能人工智能已经被发明，我们现在都被消灭了。是这样吗？
**答：** 这是一种可能性。我的意思是，你永远无法预测结果。历史极其令人惊讶。
**问：** 是的，我知道你，你永远无法预测结果，你不能从挂毯中抽出一根线。让我们谈谈你对人工智能的一些担忧。我想快速过一遍一些担忧，然后谈谈你关于这些算法应该如何构建的哲学。非常简短地，用一两个词解释，为什么现代人工智能可能会摧毁民主？
**答：** 非常简短地说，民主是一场对话。你知道，独裁是一个人独裁一切，那是独裁。民主是一群人进行对话，以决定关于任何重大问题的行动方案。
现在，进行对话不是一件容易的事。技术难度在于，如果你有 20 个人试图进行对话，他们可以聚集在一个房间里互相交谈。但 2000 万人如何进行对话？你需要某种技术来实现。
直到现代，根本没有技术来促进大规模对话，这就是为什么世界上任何地方都没有大规模民主。我们拥有的古代民主例子都是小规模的。有城邦，如雅典或共和罗马，只是一个城市，或者更小的部落、群体和村庄。我们有很多这些小规模民主的例子，在古代世界没有大规模民主的例子。所有大规模政体都是威权主义的。
只有在现代信息技术兴起后，我们才开始看到大规模民主。第一个关键技术是报纸，然后是电报、无线电和电视。突然之间，这在历史上首次成为可能。当然还有其他条件需要满足，它不保证民主，你拥有报纸和无线电，苏联也有，但它首次使大规模民主成为可能。
重要的是理解这一点，因为它意味着信息技术不是民主的配菜，你有民主，旁边有这些信息技术问题。不，信息技术是民主的基础，民主建立在这种技术之上。因此，信息技术的任何重大变化都可能对建立在其上的民主造成地震。
这就是我们现在在全世界看到的情况。我们在全世界看到的是民主对话的崩溃。我们拥有人类历史上最先进的信息技术，人们正在失去彼此交谈的能力，更不用说彼此倾听的能力。在每个发生这种情况的国家，都有独特的解释说明为什么在这个国家发生。为什么美国民主党和共和党不能再对话？你去以色列，我的国家，你听到关于以色列出了什么问题的独特解释。然后你去巴西，你有关于巴西社会出了什么问题的独特解释。但你看到同样的事情在每个地方发生，对话正在崩溃。
这不是因为这个国家历史、社会或经济的特殊特征，这是由这种新信息技术的兴起导致的普遍地震。最初，技术的开发者向我们承诺，它将传播真相，推翻暴政，加强民主。但它正在做相反的事情。
非常简短地，可视化正在发生的事情的一种方法是，想象民主是一群人类站着进行对话，突然一群机器人进入圈子，开始非常大声、非常有说服力、非常情绪化地说话，我们无法分辨谁是谁，谁是机器人。这就是过去 10 到 15 年发生的事情。结果是对话崩溃了。同样，这不是美国特有的现象，它在全世界发生，导致越来越多的独裁统治兴起，因为独裁不需要对话，又是一个人独裁一切。
**问：** 让我们在这个假设上推进一步。我可能有不同的隐喻，不是机器人进入对话，而是一群婴儿般智能的人工智能加入我，它们帮我梳理对话，帮我准备我要问的问题。不仅如此，如果你看过去一年，显然委内瑞拉是个悲剧例子，但我们有选举，选举不等同于民主，但我们将其作为代理。我们在波兰有相当积极的选举，如果你支持民主。我们在土耳其有一点进步，在印度有重大进步，实际上一个非自由民主正在受到挑战。我们在墨西哥有极其顺利的选举，导致一位犹太女性当选。我们在法国有极其迅速有效的选举，没有深度伪造，可能不喜欢选举结果。英国类似。我的意思是，世界在这些选举上做得不错，尽管有社交媒体、人工智能等挑战。
这并不是说已经定局，不是说民主已经崩溃。但如果你看看今天民主的健康状况与 10 年前或 15 年前相比，至少势头非常令人担忧。
**答：** 同样，我认为当我看世界各地的例子时，真正让我惊讶的不是巨大的意识形态差距。实际上，今天在一个像美国这样的地方，不同阵营之间的意识形态差距比 50 年前小得多。令人担忧的是争论的“温度”，这种无法进行理性辩论、理性对话的能力。
仅仅有选举很重要，但还不够。选举不是民主。即使在你提到的一些例子中，这不是关于谁赢，最终 51% 赢。这是关于 51% 和 49% 之间的关系。民主不应该感觉像每次选举都是生死斗争，如果我们输了，可能会崩溃。更不应该感觉像敌人之间的战争。如果一个国家达到人们将政治对手视为敌人的境地，那么民主无法长期生存。因为那时每次选举都像战争，你做任何事来赢，如果你输了，你没有动力接受裁决，如果你赢了，你只照顾你的部落。
在这种情况下发生的是，国家分裂成部落，最终导致部落战争和内战，或者导致独裁。
**问：** 我认为这里的关键也关乎民主，还关乎民族主义和社区的崩溃。许多人认为民主和民族主义，或者民主和爱国主义是某种对立，但它们是一起的，必须在一起。民主只有在有民族共同体时才能良好运作。只有当你真正关心你国家的其他人，并且他们真正关心你时。如果一个国家达到没有国家的境地，只有交战的部落，每个部落只关心自己，那么民主崩溃只是时间问题。这是我们在全世界许多地方看到的真正令人担忧的趋势，无论最新选举的结果如何。
这又回到了人与人之间的沟通类型。我们能否倾听与我们观点不同的人，而不认为他们是敌人？
**答：** 我在后台休息室了解到，你避免在推特上与机器人争论的方式之一是，正如你所说，你停留在 90 年代，使用电子邮件和电话。
八、人工智能的价值观与不可知性
**问：** 好的，那么我们要进入这个时代。我当然同意民主处于风险之中，我当然同意它处于风险之中的原因如你所给，我当然同意我们将很快拥有极其强大的人工智能算法，它们将支撑我们做出的许多决定和我们自己头脑中进行的许多思考。
在书中一个重要部分，你列出了你认为应该嵌入人工智能系统的四个价值观。它们是仁慈，对吧？人工智能系统应该是仁慈的，似乎合理。去中心化，互惠性，你应该了解它了解你的程度，以及进化的能力，就像你关于美国宪法与十诫所说的那样。
我想问你一个问题，当这些价值观相互冲突时会发生什么？当我读那一部分时，我想，仁慈似乎与去中心化有些冲突，因为如果你去中心化这些算法，突然你有各种各样的算法，你有各种各样的选项，你有各种各样的不同公司，其中一些会像你定义的那样仁慈，一些不会像你定义的那样仁慈。一个人应该如何权衡这四个原则来设计未来的人工智能系统？因为正确权衡它们似乎对获得你想要的世界非常重要。
**答：** 关于仁慈，我的意思是非常狭窄的，你知道，我们几个世纪以来就知道的东西。简单地说，如果你掌握了我的信息，你应该为了我的利益使用它，而不是为了操纵我。这是我们与医生、律师、会计师和治疗师已经有的基本原则，提供数字服务的人，如社交媒体或电子邮件，如我的个人医生，不应该不同。
**问：** 如果 Facebook 暂停一下，Facebook 不会说它在操纵我们，即使在算法的鼎盛时期，它也会说它在给我们我们想要的。
**答：** 这是一种说法。Facebook 算法对我们有巨大的权力，Facebook 的商业模式和大多数社交媒体公司的商业模式，基于增加用户参与度。参与度听起来像是一件好事，但谁知道谁不想参与？但对于他们，对于公司，这意味着我们需要在平台上花更多时间，因为我花的时间越多，他们赚的钱越多，要么通过向我展示广告和商业，要么通过收集我的数据，然后给予或出售给第三方。这是否是我想要的，这是一个非常大的问题。我真的想在平台上花越来越多的时间吗？
他们的算法通过试错找到我的弱点，并利用我的弱点让我更长时间地粘在屏幕上。这是黑客的基本思想。你如何黑客智能手机、计算机或程序？你寻找代码中的弱点。人类也一样，这是你黑客人类的方式。你使用这些算法找到我们代码中的弱点，每个人都有自己的弱点，不是一刀切的。什么让我生气，我已经讨厌什么，我已经害怕什么，或者我贪婪什么，他们给我更多更多更多。就像食品公司了解到，如果你把东西充满糖、脂肪和盐，人们会想要更多。这真的对我们好吗？这是一个问题，不容易解决，但这是困境的关键，讨论的关键。
再次，主要信息是，最终这不应该是关于公司的利润，而是消费所有这些信息是否真的对我好。
最后一点，我认为，就像食品的例子，我们达到了一个点，我认为大多数人需要信息饮食。这种简单的想法，即更多信息总是对我们好，这是错误的。就像更多食物并不总是对我们好一样。
**问：** 这就是为什么每个人都应该订阅《大西洋月刊》。让我给你一个思想实验。我认为，因为我认为你的系统要起作用，将在一定程度上取决于谁定义仁慈，谁定义这些价值观。所以我想给你一个思想实验，来自我最近在一个酒吧的对话。我遇到了一个人，我会改变一些细节，因为我不能透露他们是谁以及他们具体做什么，但是一位在人工智能领域工作的工程师，他们制作算法，他们目前的工作是为德克萨斯州工作，他们负责量刑算法。所以他们负责一个人工智能算法，将决定一个有罪的人将被判入狱多久。所以他们有一个艰难的任务，对吧？他们必须确保任何基于历史数据训练的算法都会有历史数据的偏见。所以你在历史德克萨斯数据上训练量刑算法，它将是种族主义的。所以你必须控制这一点，让女性更早释放，你必须确保那是正确和合适的，你回去控制它，你试图修复它。
我们进行了一场长时间的对话，我问她，你如何控制这个，你如何控制那个，你如何控制这个。最终她说，你知道我做什么，尼克，她说，我操纵了算法，我以这样一种方式操纵了它，每个人将被判的刑期都比德克萨斯州之前短得多。我以这样一种方式做到了，德克萨斯州永远不会发现我做到了。
这是人工智能工程师应该做的吗？
**答：** 这极其危险。极其危险。但这是一个许多自由主义者可能同意的价值观，他们觉得保守州判了人太长时间。所以这是将一个人认为是仁慈的价值观嵌入系统，导致他们认为是正义的结果，至少当我们谈论一个国家的法律时，这应该留给公民和选民，而不是工程师的独裁。
**问：** 他们给了州雇佣任何承包商他们想要的权力，他们选举了德克萨斯州的州长，他们雇佣了这个人。这不是德克萨斯州，这是发生在另一个地方，所以不要谷歌类似的量刑算法。这是不同的事情，在不同的地方，你找不到。但这是同样的例子。
**答：** 我认为这个例子提出的关键点是，不可知性的问题。我们在多大程度上仍然能理解控制我们生活的系统。
当我被问到这个问题时，我对人工智能真正感到恐惧的是，你有这种好莱坞科幻场景，大机器人叛乱，机器人叛乱来杀我们，这不太可能很快发生。但已经发生的是，这不是未来的科幻场景，已经发生的是，我们基本上有数百万人工智能官僚，数百万官僚算法，越来越多地决定我们的生活。我们申请银行贷款，是人工智能决定。我们犯罪，他们送我们进监狱，越来越多是人工智能决定判多久。这可能上升到关键经济和金融决策的水平，比如联邦储备利率会是多少，这可能越来越多由人工智能决定，而不是人类。
有很多好理由将这种权力交给人工智能，但后来发生了什么，当最终这么多关于我们的关键决策以我们无法理解的方式做出？我们不知道银行为什么拒绝我们贷款，我们不知道他们为什么判我们 5 年而不是 4 年或 6 年，我们不知道利率为什么是 4% 而不是 3%。我们不知道，不是因为有人隐瞒我们，仅仅是因为这对人脑来说太复杂了。
人工智能的优势，人工智能的好的一面，是它可以分析比任何人脑更多的数据，找到我们无法处理的模式，数学复杂性远超我们能处理的。但所有这一切的缺点是，这意味着什么？例如，如果越来越多地所有决策，或者至少许多决策，以不透明的方式做出，因此对人类不可问责，那么民主的意义是什么？
**问：** 让我们过另一个类似的。制造人工智能系统的公司之一是 Anthropic，他们使用一种叫做宪法式人工智能（Constitutional AI）的系统。正如他们选择如何写他们的提示和如何构建他们的算法，这可能是主要人工智能公司中最接近尤瓦尔·赫拉利哲学的。所以当它给出答案时，它检查答案是否符合联合国人权宣言。实际上它遵循联合国、美国宪法、联合国人权宣言和苹果的服务条款，非常有趣。但无论如何，你知道，他们最大的问题，和其他人工智能公司一样，是他们不知道，正如你所说，他们不知道为什么事情做出决定。所以他们一直在试图理解所谓的可解释性。所以他们进去说，好吧，让我们看看如果我们进入所有训练数据，给所有与金门大桥有关的东西增加一点额外权重会发生什么。如果有金门大桥的图片，我们加倍权重，如果有提到金门大桥，我们加倍权重，如果有字，如果有旧金山巨人队的比分，我们给费城费城人队的比分多一点权重。他们做了所有这些，然后他们问 Claude，告诉我一个爱情故事。自然，爱情故事发生在金门大桥上。如果你搞乱训练数据和权重，你会得到一些有趣的結果。
所以我想问你的问题是，如果我们能这样做，为什么不去人工智能里，不等待它偏向金门大桥，而是偏向爱、同情、仁慈？这是个好主意吗？
**答：** 我不确定这在技术意义上意味着什么。但当我看人类历史时，我知道在历史上，人们谈论爱，或者从爱开始，很快他们就到了恨和战争。你知道，基督教，回到迦太基会议，视自己为爱宗教，一切都是关于爱，却造成了比历史上任何其他宗教或意识形态更多的暴力。他们 somehow 找到了一种方式，如何从爱发动十字军东征，建立宗教裁判所，在火刑柱上烧死异教徒。这都是出于爱。他们真的相信。
但 again，我认为这经常发生的方式是，如果你认为你由爱驱动，如果你认为你试图建立乌托邦，任何站在你面前的人必须是恶魔，任何站在你面前的人必须是邪恶的。我比任何反对立场都好，任何反对立场按定义不仅是想不同的人，他们是邪恶的。
Again，我不确定如何将其翻译成人工智能语言。但 again，从历史中学到的一个教训是，仅仅认为因为我们有这些好的权重，我们加权了我们的圣书，我们加权了代码偏向爱，任何有爱字的都额外加权，任何有同情的都额外加权，然后 somehow 你得到了宗教裁判所。如果这在人类身上发生，我也会非常担心人工智能。
但我们需要，again，我们从历史中一次又一次学到的基本东西是，我们需要一个自我修正机制。我们不能信任仅仅因为某物有……
颠覆性技术如何重塑世界？——尼古拉斯·汤普森与尤瓦尔·赫拉利对话录（下）
一、乌托邦的诱惑与纠错机制
如果基础价值观是良善的，那么由此产生的结果也必然是仁慈和充满同情心的。我们在现代史上再次看到了这一点，比如马克思主义。它始于平等和同情这些美好的理念，却最终走向了古拉格群岛。如果你真的确信自己站在一个良好的基础之上，并且认为自己正在建设乌托邦的过程中，那么这就给你开出了一张“空白支票”，允许你在通往乌托邦的路上做任何可怕的事情。任何挡在你面前的东西，都会从政治对手转变为某种“恶魔附体”。
这正是最令人恐惧的地方。因为那些构建 AI 模型的人，真心相信他们正带领我们走向乌托邦。这非常危险，因为这正是给他们开出的“空白支票”。他们会说：“我们正在建设乌托邦，所以沿途必须牺牲的一切都是值得的。”当你看最终结果时，这就是列宁和斯大林等人的基本论点：是的，我们必须杀害数百万人，但最终，当我们建立了真正的现存社会主义，你会发现那些在古拉格中死去的数十亿人，这一切都是值得的。
我从未想过将“古拉格”与“安多比”（Anthropic）同时联系在一起，但此刻我们确实身处其中。不过，稍等片刻。在未来几周，你很可能要向西移动，与这些人坐下来交谈，因为他们都读过你的书。有一个著名的画面，杰夫·贝佐斯在接受采访时，书架上摆着四本书，其中三本都是你的。所以，当你与达里奥·阿莫迪（Dario Amodei，安多比负责人）这样的人交谈时，如果他们表示：“我们正在思考应该训练什么，我认为我们应该只训练积极、振奋人心的事实故事，不应该训练包括连环杀手日记在内的一切内容。”你会怎么回答？你会说“不，把连环杀手日记放进去，不要只根据你的定义来训练爱”吗？
基本上，我会说我不知道如何训练 AI，这不是我的领域。但无论给予它什么样的积极基础，无论你有什么积极的意图，你的首要假设应该是：这个东西不是万无一失的。我不是万无一失的，犯错的可能性很高，因此我需要留出纠错的空间。构建它时最重要的事情，是建立一个识别和纠正错误的机制。这也是我在 1917 年会给列宁的建议：你正在进行一项巨大的实验，你认为自己在建设乌托邦，那么请从“你会犯错”这个假设开始。在苏联的结构中，包含识别和纠正系统错误的机制，包括列宁本人及其继任者的错误。这是他们唯一没有做的事情。是的，列宁应该读读《人类简史》。我脑海中甚至有他在火车上读这本书的画面。
二、信息茧房与身心二元论
让我们谈谈“茧房”（Cocoons），这是你书中极其有趣的部分。你提出了一个论点，指出人类有一些根本性问题，比如身心分离。你讲述了马丁·路德的故事，这是一种我之前未曾读过的讲述方式。你认为，在 AI 时代，可能会出现一些文明，它们对“什么是心”和“什么是身”有着完全不同的理解，从而拥有完全不同的司法体系。这是书中令人脑洞大开的一部分，能否向观众解释一下？
这需要很多解释，我会尽量简短。首先关于茧房，这是信息革命时代隐喻的变化。三十年前，主导的隐喻是“网”（Web），即万维网，网应该连接一切和所有人。多年来，网逐渐向我们闭合，现在变成了“茧房”。每个人或每个群体都被包裹在一个信息茧房中，有时你的邻居就在不同的茧房里，你根本无法从一个茧房访问另一个。
这种极端情况的一个例子是，今天在美国，人们甚至对谁赢得了上次选举都无法达成一致。这可能会发展到人们连“什么是人类”、“什么是人”以及“身心关系”都无法达成一致的地步。纵观历史，我们在犹太教、基督教、印度教、佛教等许多传统中，反复看到关于“人类究竟是什么”以及“身心或灵肉关系”的争论。
如果我们回到迦太基会议（Council of Carthage）和早期基督教时代，犹太教和从中诞生的第一批基督徒，将人类视为具身实体（embodied entities）。身体是核心，我们是身体。圣经犹太教根本不讲灵魂，灵魂可以独立于身体存在这种想法在圣经犹太教中是闻所未闻的，一切皆关乎身体。早期基督徒也专注于身体，原本的理念是上帝道成肉身，肉体处于中心地位。耶稣被钉十字架后，他应该以肉身复活，上帝的王国应该是地球上肉身的物质王国。
但最终，在柏拉图哲学等其他影响下，以及出于实际目的——因为上帝的王国无处可见，早期基督徒面临的最大问题是他们赢了。当你是一个受迫害的教派时，你可以拥有所有这些承诺：“当我们最终获得权力时，我们将拥有上帝的王国。”然后他们遭遇了任何宗教都可能遭遇的最大灾难：他们获得了权力，成为罗马帝国的主导宗教。那么上帝的王国在哪里？并没有上帝的王国，你仍然有同样的战争、腐败、内战、处决和人类贪婪，一切照旧。
于是他们说，上帝的王国不在地球上，它在另一个现实层面，在天堂。死后你的灵魂将到达天堂。许多基督徒逐渐转向一种非常不同的人类观，即二元论观点：我的真实本质是我的灵魂，它被困在一个物质的、生物的、肮脏的身体里，充满性欲和欲望。理想是最终灵魂将从这个地球上的肉身监狱中释放出来，进入一个纯粹非物质的领域，即天堂，在那里永远存在。
在两千年的基督教历史中，你看到了这种张力。他们永远无法真正抛弃身体， partly 因为圣经充满了身体，基督道成肉身，复活并肉身归来。圣经本身关于纯粹灵魂的非物质领域说得很少，这大多是后来加入的。因此，这种持续的争论往往导致殴打和宗教战争。
在教会早期世纪，最大的争论之一是关于耶稣基督本身的性质。一派说他是完全由血肉组成的人类，另一派说他是完全神圣的、非物质的精神存在，第三派说他是“非二元”的（non-binary），这最终成为教会的官方教义：他既是两者，又同时不是两者。围绕这些问题的巨大争论和暴力。
这一切如何与 AI 相关？我们将迎来另一轮身心辩论，我们已经身处其中。你的身份是什么？什么定义了你的身份？你的身份是由你的生物身体定义，还是由你的信仰定义？像马丁·路德这样的人说，唯一重要的是你相信什么。我们现在正生活在这种辩论的新轮次中。有些人说，如果你上网，你可以成为任何你想成为的人，坐在屏幕前的生物身体不应该限制你可以采用的身份。另一些人说不，有一个生物身体，这是你身份的中心，你不能忽视你的生物身体。众所周知，这是一场非常激烈的辩论。
这也可能影响我们如何对待 AI。AI 没有身体，但它们将越来越多地与我们互动，甚至假装拥有自己的情绪。那些在人的身份中赋予身体首要地位的人，将抵制将 AI 视为人。那些认为身份与生物学关系不大的人，将更容易给予或对待 AI 作为人，即使它们没有身体。不同的国家可能会走向不同的道路。
想想今天美国和中国之间关于人权争论的含义。五十年后，当一个国家可能有数十亿被视为拥有权利的实体，而另一个国家根本不承认它们是人，因为它们没有生物身体时，这意味着什么？有趣的是，在美国，已经有一条完全开放的合法路径，可以将没有身体的非人类认定为拥有权利的法人。因为根据美国法律，公司是法人，拥有言论自由。目前这是一个法律虚构，因为公司的所有决定都是由有生物身体的人类做出的。谷歌根据美国法律是法人，但目前谷歌的所有决定都必须由某个人类做出。
但几年后会发生什么？也许当你开始将 AI 纳入法人时，你可以在技术上将 AI 注册为公司，称之为“博古尔”（Boogle）。博古尔的有趣之处在于，它不需要任何人类员工为其做决定，AI 可以自己做到。AI 可以开设银行账户，开始赚钱，可以在 TaskRabbit 或 Mechanical Turk 等在线平台上提供服务，赚钱后投资股市。如果它是一个非常聪明的 AI，它可能成为美国最富有的人。想象一下，当美国最富有的人不是人类，而是 AI 时。根据美国法律，这个非人类法人拥有的权利之一是言论自由，表现为政治捐款。这个 AI 可以向政治家捐款数十亿美元，以换取给予 AI 更多权利。我认为我们应该更关心这类科幻场景，而不是伟大的机器人叛乱。如果一家公司里的高级 AI 机器人开始骚扰初级 AI 机器人，AI 人力资源部门该怎么办？
三、意识之光与黑暗宇宙
好的，我们这里有几个血肉之躯需要去拿披萨和啤酒，所以我再问最后一个关于末日的问题，然后我们将进入观众提问环节。我在地铁上读你的书，前几天晚上和儿子一起读完之前，这是我最喜欢的段落，我想读给你听，并请你解释它的意思：“我们现在创造了一种无意识但非常强大的外星智能。如果我们处理不当，AI 可能会消灭的不仅是人类在地球上的统治，而是意识本身的光芒，将宇宙变成一个彻底黑暗的区域。”
这是一本非常令人愉快的书，尤瓦尔。这是结尾，我们有责任防止这种情况。防止它的一种方式是不让 AI 消灭我们，另一种方式是试图创造意识并将其发送出去。这段文字提出的问题是：人类所做的什么事情，允许意识存在，即使我们消灭了自己？
我不确定那是什么。问题是，我们仍然不理解意识。我们不知道它如何在我们身上产生，我们不知道它如何进化。这也是为什么关于 AI 意识这个大问题，我倾向于不可知论。我不认为 AI 必然会发展出意识，但我不确定它们永远不会发展出意识，可能是这样。
所以，如果 AI 摧毁人类文明，接管并可能从地球传播到银河系其余部分和其他星系，但在这个过程中它们从未发展出意识，这就是“黑暗宇宙”场景。人们对这两个术语有巨大的混淆，因为在人类身上，智能和意识是结合在一起的。智能是达成目标和解决问题能力，意识是感受痛苦、快乐、爱和恨的能力。人类依靠感觉解决问题。在我们和其他哺乳动物中，意识和智能是结合在一起的，这就是我们混淆它们的原因。
现在在计算机中，到目前为止，我们只看到了智能的巨大进步，而没有看到意识的进步。在某些领域，AI 已经比我们聪明得多，但它没有意识。当它赢得国际象棋比赛时，它不高兴；当它输时，它不难过，它感觉不到任何东西。在许多场景中，随着 AI 变得越来越智能，它在某个时刻也获得了意识，但没有理由认为这是必然的。可能有通往超级智能的不同道路。哺乳动物和人类沿着一条涉及意识发展的道路走了数百万年。计算机 AI 可能只是沿着一条不同的、更快的道路行进，这条道路在不经过任何意识发展阶段的情况下达到超级智能。
如果发生这种情况，并且它超出了我们的控制，这可能意味着不仅是人类在地球上的统治终结，而是意识本身光芒的终结。你可以拥有一个银河帝国，没有任何感觉，没有任何东西感觉任何东西，一切都只是黑暗。
为什么这比仅仅消灭人类糟糕得多？消灭人类本身已经是一个足够糟糕的结果。
你知道，世界上还有其他有意识的实体，其他动物。没有理由认为在数十亿年的生命历史中，智人绝对是最后一站。无论是通过生物进化还是通过与 AI 的某种结合，如果我们幸存下来，很可能一千年或一万年后，像我们这样的人类将不再存在。技术将如此先进，会有有意识的存在，但它们将有完全不同的身体和心灵，完全不同的体验。这不一定是不好的，就像我们在这里，而两百万年前存在的第一个人类物种已经消失，我们不认为那是悲剧。大多数人至少希望他们的孩子在某种程度上比他们更进化。
但想到这将完全被抹去，智能仍然存在，但完全没有意识，我认为智能真的被高估了。生活中真正重要的是意识，不是智能。智能使我们能够做不同的事情，但最终，一切皆关乎意识。谁还在那里？尤瓦尔，这些家伙猪（指观众）还在那里，他们将说数千种语言。
四、现场问答
**问：在你上一本书中，你开篇论证人类已经“几乎战胜了饥饿、瘟疫和战争”。你仍然坚持这个观点吗，还是重新考虑了你的论点？**
**答：** 我认为人类有能力遏制饥荒、瘟疫和战争，但这取决于我们是否真的这样做，取决于我们的决定。过去十年我们做出了一些糟糕的决定，这就是为什么我们看到这些灾难状况的回归。我们现在正处于第三次世界大战的边缘，如果发生，很可能伴随着饥荒，甚至可能是瘟疫。关键是要理解，近年来战争的减少并不是自然法则变化的结果，也不是某种神圣奇迹，仅仅是人类做出了好的决定并建立了好的制度。如果我们开始做出糟糕的决定并忽视维护和平的制度，战争就会回归。
**问：人们对 AI 对就业的影响日益担忧，特别是对低技能工作和低收入社区。考虑到 AI 的快速发展和不确定性，可以采取哪些策略或措施来减轻这些负面影响？**
**答：** 最安全的做法是慢下来。我认为人类和人类社会极具适应性，但为了适应，你需要时间。如果 10% 或 20% 的人突然失业，这将是一场巨大的政治危机。如果这种情况在几年内逐渐展开，我们就有时间适应。最重要的是全球层面会发生什么。当我看美国这样的国家时，我不太担心。我知道未来一二十年许多工作会消失，其他工作会出现。大问题是人们是否能重新培训自己以填补新工作，为此他们需要支持。领导 AI 革命的国家将有巨大的资源来支持人口的再培训，并支持那些无法过渡的社会成员。大问题将出现在其他国家，它们可能面临完全的经济崩溃，根本没有资源来再培训劳动力并适应新的 AI 经济。
**问：你怎么看待这个问题的前提，即 AI 将影响就业，特别是对低技能工作和低收入社区？**
**答：** 人们对此争论不休。我不确定有充分的理由认为它只会影响低收入工作。我认为它肯定会影响到高收入工作，会计师、律师、医生、程序员、工程师。没有理由认为它会专门针对低收入工作。我认为它可能会首先消灭媒体 CEO 和历史学家。
**问：我最喜欢你的历史写作之处在于，它不仅对我们如何生活有影响，还对我们应该如何生活有影响。如果你是生活方式导师，你会给观众什么信息或建议？**
**答：** 我不是生活方式导师，所以我不知道。正如你们大多数人所知，这个人每天冥想两小时，进行为期一个月的静修。你是生活方式导师吗？是的，但我不会告诉所有人都这样做。我知道这对我有效，但我知道它对其他人无效。对另一个人来说，去森林里徒步可能更好，那就去做那个。认为冥想对我有效所以必须对所有人有效，这不是真的。我尝试了一个月的静默静修，对我的员工和我的三个孩子都没用。
**问：你认为 AI 和虚假信息将如何影响少数群体权利，特别是 LGBTQ+ 社区？**
**答：** 它可以，这取决于我们的决定，它不是决定论的。它可以双向作用。从我自己的生活我知道，互联网和社交媒体在许多方面对 LGBTQ+ 社区是极好的。我在 22 年前在以色列最早的同性恋社交媒体网站之一遇到了我的丈夫。这真的是一场革命，因为如果你想想历史上的少数群体，有两种少数群体：集中型少数群体和分散型少数群体。集中型少数群体，比如犹太社区。如果你出生在欧洲中世纪的犹太人，周围犹太人不多，但你被他们包围，你出生在犹太家庭、犹太社区、犹太隔都，你知道很多犹太人，所以你没有问题找到其他犹太人。但我，我出生在 1970 年代的以色列，在 80 年代和 90 年代在一个非常恐同的社会长大。我不是出生在特拉维夫，我是出生在赫兹利亚的一个小郊区，我不认识任何同性恋者。这是分散型少数群体。大多数同性恋男孩不是出生在同性恋家庭、同性恋社区，有时会发生，但非常罕见。所以你遇到的第一个问题是：我如何找到其他人？这是犹太人不需要处理但同性恋者历史上必须处理的问题。然后互联网来了，在很大程度上解决了这个问题，突然之间，至少比以前容易得多找到彼此。所以我经常批评，书中也有很多对信息技术和社交媒体的批评，但它们也有巨大的积极潜力。
**问：如果你能复活一个其他已灭绝的人类物种，你会复活哪一个，目的是什么？**
**答：** 我认为这对他们来说会很糟糕。我们的物种对待自己的方式，仅仅因为我们有一点点不同的语言、肤色，我不愿意成为尼安德特人少数群体或丹尼索瓦人少数群体，在一个智人世界里。
**问：AI 是否应该由人类父母抚养，沿着一个策划的发展轨迹，以创造爱、依恋和连接的感觉，假设有可能像人类创造道德准则那样灌输道德准则？**
**答：** 我们应该尝试吗？AI 不是有机的。它们沿着完全不同的方式运作。它们不是你可以想“我会在人类家庭里抚养一只黑猩猩，所以它会变得像人”的黑猩猩或尼安德特人。这是我们关于 AI 的关键误解。就像你有所有这些人在问 AI 何时达到人类水平智能，答案是永远不会。它不在通往人类水平智能的道路上。它不是人类，甚至不是有机的。对我来说，AI 这个缩写传统上代表人工智能，我认为它应该代表异质智能（Alien Intelligence）。异质不是指来自外太空，而是指是的，这是智能，但它做决定、处理信息、发明想法的方式是根本异质的。它不是有机的。
有一件非常重要的事情是，有机体我们靠周期运作，白天和黑夜，冬天和夏天，生长和衰败，有时我们活跃，有时我们需要休息。我们在世界上越来越多遇到的问题是，现在世界越来越多地由这些不需要休息、没有周期的非有机智能运行。它们迫使我们变得和它们一样，而不是它们变得和我们一样。如果你强迫一个有机体一直在线、一直活跃，最终它只会崩溃和死亡。你想想金融系统。传统上，金融系统是一个有机系统，有时休息。华尔街，市场只在周一到周五上午 9:30 到下午 4:00 开放，仅此而已。周末关闭，圣诞节关闭。这对人类是好的。但如果你给 AI 更大的金融控制权，系统就永远在线，这给人类金融家和银行家带来压力，要求他们永远在线，这是人类不可能的。同样的事情发生在记者身上，同样的事情发生在政治家身上，导致他们崩溃。我经常说，英语中至少在美国，最被误解的词是“兴奋”（excited）。人们过度使用它作为好事，比如他们见到你，说“见到你我很兴奋”，你出版了一本书，“这太令人兴奋了”。他们认为兴奋意味着快乐，但不是。兴奋意味着你的神经系统和大脑完全开启。如果你能让一个有机体的神经系统一直开启，它会导致崩溃。所以整个系统太兴奋了。我们需要放松。比如我们见面，我说“见到你我很放松”，今天完全不是兴奋，只是想想如果政治不那么兴奋该多好。
**问：我们需要什么？我认为在政治上最重要的是无聊的政治家。我会说，投票给无聊的政治家。**
**答：** 好的，我很放松地问今晚的最后一个问题。你认为未来对人工智能的依赖会影响并与宗教作为精神来源竞争吗？
**答：** 很有可能。我认为许多宗教一直幻想拥有超人智能，突然我们有了它。想想关于神圣文本的文本。神圣文本的理念是，这来自一个优于我们的非人类智能。神圣文本在人类历史直到今天的问题是，它们不能真的与我们对话。文本中有些我们不明白的东西，文本不能解释自己，比如这段经文正确的解释是什么。所以总是，尽管在理论上宗教中最高权威是神圣文本，但在实践中，人类机构围绕神圣文本生长，真正的权威在解释文本的人手中。
就像今天科技界相信开源的人和相信应该封闭、只有少数专家的人之间的斗争一样。这与天主教和新教是一样的。天主教说，不，你必须让教会的专家解释神圣代码。新教相信开源，任何人都可以阅读代码并自己解释。但当历史上第一次文本可以对话时会发生什么？无论是传统神圣书籍的文本，你可以训练 AI 阅读每个神学家、主教或思想家在 3 世纪或 11 世纪写的每一篇论文，那个 AI 将比任何人类都更好地理解基督教文本。它是否比人类神学家和主教更有权威？一个大问题。另一个问题，如果你有新的宗教，文本由非人类智能书写会发生什么？这可能正在发生，AI 可能在线传播新的神圣文本，为下一个大宗教创造核心，它将再次拥有一个可以对话的文本，来自超人非人类智能。所以我肯定认为，AI 领域最有趣的发展之一将在神学和宗教领域。建议谷歌和微软应该雇佣一些神学家，因为他们会需要。
好的，这是完美的结束注脚。非常感谢汤普森和普罗（Pros）。非常感谢剧院。最重要的是感谢尤瓦尔。