卡拉·斯威舍 (Kara Swisher) 和尤瓦尔·诺亚·赫拉里 (Yuval Noah Harari) 谈论科技兄弟、女巫和信息洪流

Kara Swisher 与尤瓦尔·赫拉利：科技巨头、女巫与信息洪流

**日期：** 2024-10-16 **嘉宾：** 尤瓦尔·赫拉利（Yuval Noah Harari） **主持人：** 卡拉·斯威舍（Kara Swisher）

---

一、新书《联结》：信息网络与人类困境

**问：** 很高兴再次见到你，感谢你加入我。今天我们主要讨论你的最新著作《联结：从石器时代到人工智能的信息网络简史》。虽然书名里有“简史”，但这本 400 页的书显然并不简短。继 2011 年的《人类简史》和 2015 年的《未来简史》之后，你为何决定写这本书？它与你之前的作品有何关联？

**答：** 这本书承接了我在《人类简史》和《未来简史》中留下的问题。这两本书基于两个核心疑问：首先，如果人类如此聪明，为什么我们却如此愚蠢？我们成功征服了地球，登上了月球，分裂了原子，破解了 DNA，但如今我们却处于自我毁灭的边缘，同时也威胁着整个生态系统。无论是生态崩溃、核战争还是人工智能的崛起，都是潜在的毁灭方式。那么，我们到底出了什么问题？

这是一个困扰人类历史已久的问题。神话和神学通常告诉我们，问题出在人性本身。但《联结》采取了不同的视角：问题不在于我们的本性，而在于我们的信息。如果你给好人错误的信息，他们就会做出错误的决定，甚至是自我毁灭的决定。

这本书接着探讨了信息的长期历史：为什么信息并没有随着时间变得更好？按理说，经过数千年的演进，我们的信息应该更准确，但事实并非如此。大规模现代社会与石器时代的部落一样，容易陷入集体妄想和疯狂。想想 20 世纪的斯大林主义和纳粹主义，虽然他们的信息技术比石器时代部落先进得多，但依然极度妄想。再看今天，我们拥有历史上最复杂的信息技术，但人们却无法进行理性的对话。用技术术语来说，这就是“垃圾进，垃圾出”。

**问：** 你的观点是，这是一个历史性问题，只是我们制造的“垃圾”变得更加复杂了，对吗？

**答：** 是的，但这种“垃圾”并非偶然，它在创造秩序方面非常有效。书中的关键观点之一是，人类之所以能控制世界，是因为我们能比其他任何动物进行更大规模的协作。要建立大规模协作系统，你需要两样东西，它们将你拉向不同的方向：你需要了解世界的真相，但你也需要在成千上万甚至数十亿人中维持秩序。在大多数情况下，真相并不是维持秩序的最容易方式。虚构、幻想乃至赤裸裸的谎言，在凝聚人心方面往往更有效。

---

二、人工智能的威胁：官僚而非机器人

**问：** 这让我想到一个观点：技术和信息既是工具也是武器。无论是印刷术还是纸草纸，它们始终会被用作武器。在《未来简史》中，你讨论了新技术的利弊，特别是如果人类失去控制会发生什么。你在《联结》中写道，自那以后，关于人工智能的对话已经从“闲散的哲学推测”变成了“急诊室般的专注强度”。从你的角度看，现在的对话焦点是什么？

**答：** 主要有两场对话。第一场是关于理解我们面临的是什么：什么是人工智能？为什么它危险？威胁在哪里？很多人难以理解这一点。它不像核武器，核武器的危险显而易见——一场战争就会杀死所有人。人工智能的危险在哪里？好莱坞在这方面帮了大忙，提前聚焦了这个问题，但聚焦错了场景。

如果你想想《终结者》或《黑客帝国》，焦点在于巨大的机器人叛乱，即 AI 决定接管世界并消灭我们。这不太可能很快发生，因为 AI 不具备建立机器人军队并接管国家或世界所需的广泛智能。这让人们感到自满。我认为关于 AI 对话的关键问题之一是解释清楚：危险不在于巨大的机器人叛乱，而在于 AI 官僚。它们将从内部接管世界，而不是从外部或底层发动叛乱。

AI 不需要是通用智能。在官僚体系中，你只需要非常狭窄的智能就能获得巨大的权力。以律师为例，如果你把一个律师扔进大草原，他并不强大，比狮子或大象弱得多。但在官僚体系内，一个律师可能比世界上所有的狮子加起来都更有权力。这就是 AI 介入的地方。我们现在有数百万个 AI 官僚，越来越多地对我们和世界做出重要决定。你向银行申请贷款，是 AI 在决定；你申请工作，是 AI 在选择；在战争中，是 AI 在选择目标。

对话的另一部分当然是：我们该怎么办？我认为，经过一段时间后，几乎每个人都同意，最好的办法是放慢速度，给人类社会适应的时间。但并非所有人都同意，因为有一个论点：理想情况下确实应该慢下来，但我们不能慢下来，因为“坏人”或竞争对手不会慢下来，他们会赢得比赛，所以我们必须跑得更快。这就产生了一个悖论：他们告诉我们必须跑得更快，因为我们不信任人类，但我们却认为我们能信任 AI。

---

三、历史镜鉴：印刷术与女巫猎杀

**问：** 我们通常将新技术与科学进步联系起来，认为这是一个良性循环，比如印刷术的案例。但在你的书中，你提到当古腾堡印刷术发明时，真正的畅销书并不是哥白尼的《天体运行论》，而是一本名为《女巫之锤》的书。请谈谈这本书。

**答：** 在硅谷，人们谈到信息时，往往会引用历史类比，说就像印刷术引发了科学革命一样，我们现在做的事情也会引发新的科学革命。事实是，印刷术并没有直接引发科学革命。从 15 世纪中叶古腾堡将印刷技术带到欧洲，到 17 世纪中叶牛顿等人推动科学革命繁荣，中间隔了大约 200 年。在这 200 年里，欧洲经历了历史上最糟糕的宗教战争浪潮，以及最严重的女巫猎杀浪潮。

欧洲的大规模女巫猎杀狂热并非中世纪现象，而是现代现象，印刷术助长了这一趋势。中世纪的欧洲人并不太担心女巫，他们认为女巫存在，但不认为她们危险。然而，在古腾堡带来印刷术前后，一小群人提出了一个阴谋论：女巫不是拥有魔法力量的个体，而是由撒旦领导的全球阴谋的一部分，她们在每个城镇和村庄都有代理人，想要毁灭人类。这基本上就是今天的 QAnon 阴谋论，两者之间有直接的联系。

起初没人太在意，但后来一个叫亨里希·克雷默的人推广了它。他在阿尔卑斯山地区（今天的奥地利）推行“自己动手”的女巫猎杀，但被教会当局阻止，因为他们觉得他疯了。克雷默通过印刷术进行了报复，他写了《女巫之锤》（*Malleus Maleficarum*），这是一本关于如何识别和杀死女巫的“自己动手”手册。我们今天与女巫相关的许多观念，比如女巫大多是女性、她们参与狂野的性狂欢等，很大程度上来自克雷默扭曲的想象。

书中甚至有一个章节专门讨论女巫从男人身上偷走阴茎的能力，并列举了各种“证据”。比如，有一个男人早上醒来发现阴茎不见了，他怀疑当地的女巫，逼她归还。女巫让他爬树，他在树顶的鸟巢里找到了女巫收藏的所有阴茎。女巫说你可以拿回你自己的，男人当然拿了最大的那个，女巫却说：“不，那个属于教区牧师。”

你可以理解为什么这本书的销量比哥白尼的书多得多。但这听起来很有趣，直到你意识到后果。在欧洲女巫猎杀狂热期间，数万人被以极其可怕的方式杀害。例如在慕尼黑，波彭海默全家被捕，指控他们参与全球女巫阴谋。这是一个有父母和三个孩子的家庭。他们从折磨 10 岁的小男孩开始，直到他诬陷母亲是女巫，说她去见撒旦、杀婴儿、召唤冰雹。最终，包括那个 10 岁男孩在内的全家人都被处决。

这后来也传到了美国，引发了塞勒姆女巫审判。印刷术并没有直接导致这一切，但它使得这些虚假信息能够传播，就像今天的假新闻和阴谋论一样。而制造印刷机的人并没有为此承担责任。

**问：** 这确实令人深思。如今，数百万美国人基本上相信着同样的故事：一个由撒旦领导的全球阴谋，旨在摧毁文明。那么，上次是什么阻止了这一切？我们最终是如何走向科学革命的？

**答：** 并不是印刷术的技术，而是建立了致力于筛选信息海洋的机构。这些机构开发了机制，来评估可靠信息，并向公众传播最可能为真的信息，而不是人们最可能购买的信息。当你将手稿发送给科学出版商时，他们想知道的不仅是这本书是否会畅销，而是它是否真实。

---

四、真相与虚构的博弈

**问：** 这很有趣。我读过雷切尔·波茨曼的前传，她提到约瑟夫·戈培尔说过，如果你用虚假信息淹没区域，真相就会被冲走。当然，坦尼·威廉姆斯也说过，真相在深不见底的井底，你永远无法触及。更现代的例子是史蒂夫·班农，他不断谈论“淹没区域”的概念，因为这是混淆和分散人们注意力的最佳方式。这似乎不是新事物。

**答：** 确实不是新事物。我们习惯于将新技术与科学进步联系起来，认为这是一个良性循环。但事实是，大多数信息都不是真相。真相只是世界上所有信息中非常微小的一部分。

首先，真相是昂贵的。如果你想写一份真实的记录，你需要研究、收集证据、核实事实、进行分析，这在时间、金钱和精力上都非常昂贵。而虚构非常便宜，你只需写下脑海中浮现的第一件事。其次，真相通常很复杂，因为现实是复杂的，而虚构可以做得尽可能简单，人们通常更喜欢简单的故事。最后，真相可能是痛苦的，无论是关于个人的真相、我的人际关系、我对他人或自己做过的事，还是关于整个国家或文化的真相。而虚构，你可以让它尽可能有吸引力、令人愉悦。

因此，在真相与虚构和幻想的竞争中，真相处于巨大的劣势。如果你只是用信息淹没世界，大多数信息将不是真相。在这个信息海洋中，如果你不给真相一些帮助或优势，真相往往会沉到底部，而不是浮到顶部。我们在历史上一次又一次地看到这一点，每当人们发明新的信息工具时都是如此。

---

五、平台责任与算法的自主性

**问：** 这让我想起我与马克·扎克伯格的采访。我们谈到亚历克斯·琼斯，他是现代历史上最大的虚假信息传播者之一，一个极其恶劣的人物。我问为什么不让他的平台下架，他显然在撒谎，那些孩子不是童星，他们真的死了，这对父母有害。不知何故，他把话题转到了大屠杀否认者上。我觉得那是他的失误，但我顺着他说。他开始谈论大屠杀否认者并非故意撒谎。我觉得那正是大屠杀否认的定义。我让他把观点说完，这很有趣，虽然完全荒谬。我觉得平台上大屠杀否认者越多，下游的反犹太主义就会越多。他为此惹上了很多麻烦，但这并没有阻止他继续让他们在平台上生存，直到两年后他才决定将他们踢出。我认为，就我而言，他对这场反犹太主义洪流负有责任，因为他最初拒绝采取任何行动。

从历史角度看，我们应该如何建立自我纠正机制？现在这一切掌握在少数人手中，他们对历史有真正的误解，对编码之外的知识也有真正的误解。

**答：** 我认为主要问题在于，有些人似乎都担心女巫会偷走他们的阴茎，但请继续。

**问：** 所以，他们害怕女巫会偷走他们的阴茎？

**答：** 不，那是另一回事。关于自我纠正机制，我认为关键不在于人们是否被允许说这些话。在这方面，我实际上倾向于同意扎克伯格、埃隆·马斯克等人的观点：在我们开始简单地让人闭嘴之前，应该非常小心。

**问：** 你不能完全这么说，因为他们确实会在他们想的时候让人闭嘴。

**答：** 我知道，我知道。但我想，当涉及到真正的审查时，确实有一个讨论需要展开。问题不在于人们说各种各样的话，问题在于平台故意推广特定的内容，那些传播仇恨、恐惧、愤怒和愤怒的内容。正如埃隆·马斯克所说（虽然他是从别人那里抄来的），这不是言论自由，而是传播自由。

人们一直在产生大量的内容，问题在于什么得到了关注，什么得到了传播。在这里，管理大型平台媒体信息系统的人——无论是印刷厂还是社交媒体渠道——的责任是，非常小心地选择他们要传播和促进什么。如果他们不知道如何区分事实和谎言，他们就不应该从事这个行业。

这正是科学革命期间建立的东西：我们如何区分事实和虚构？那么，我们如何建立这些机制？当这一切掌握在少数非常麻烦的人手中时，他们要么无知，要么傲慢，要么自恋。在我看来，这是架构的问题。当你看谷歌时，它是为了速度、上下文和准确性而设计的。但社交网络的架构是为了病毒式传播、速度和参与度。这是一种完全不同的架构，它总是导致坏的方向。

**问：** 那么，既然政府拒绝介入，我们应该如何创造影响？

**答：** 首先应该明确，平台应该对其算法的行为负责，而不是对用户的内容负责。如果有人在网络上发布仇恨言论或阴谋论，那是那个人的责任。但如果 Facebook 或 TikTok 的算法决定推广那个阴谋论，推荐它，自动播放它，这就不再是用户的问题，而是算法的行为。这是主要问题。

令人惊讶的是，世界上最早被自动化的工作之一不是出租车司机，也不是纺织工人，而是编辑。新闻编辑曾经是社会中最有权力的职位之一。如果你编辑主要的新闻平台或报纸，你是最重要的人之一，因为你塑造了公共对话。我们在历史上看到了编辑拥有多少权力。例如，在法国大革命期间，让 - 保罗·马拉通过编辑巴黎最重要的报纸之一，塑造了法国大革命的进程。列宁在成为苏联独裁者之前，他的主要工作就是编辑报纸《火星报》。墨索里尼是报纸《前进报》的编辑，这是他成名并成为意大利独裁者的方式。晋升阶梯就像是：记者、编辑、独裁者。

现在，曾经由列宁和墨索里尼做的工作，是由算法完成的。这是世界上最早被完全自动化的工作之一。当然，人类仍然在控制中，他们给算法设定目标。我想在座的大多数人都知道，设定的目标是增加用户参与度。算法通过试错发现，增加用户参与度的最容易方法是传播愤怒。这就是它们所做的，它们应该为此负责。

**问：** 所以你的想法是，愤怒等于参与度。

**答：** 是的，因为这样有效。快乐也有效，但不如愤怒有效。这就是为什么你会有猫视频和 QAnon，基本上就是这两样东西。

---

六、人工智能作为“异类”智慧

**问：** 说到《女巫之锤》，在谈到那个之前，我想谈谈历史上最著名的宣传案例，也就是纳粹德国。我认为当我们谈论虚假信息或错误信息时，我们实际上是在谈论宣传。独裁政权和民主国家之间的关键区别在于，民主国家依靠信任，特别是对机构的信任，而独裁政权依靠恐怖。独裁者并不真的需要你相信某种特定的理论或现实版本，他们真的需要你怀疑一切。如果他们能摧毁人与人之间的所有信任，那么唯一能继续运行的系统就是独裁政权。

我们看到，无论是在纳粹德国、苏联，还是今天，都是一只手试图传播特定的阴谋论或宣传，另一只手试图制造不信任。不幸的是，这在历史上和今天都不是纳粹或法西斯极端右翼的专利，我们在左右两翼都看到了这一点。马克思主义左翼也很常见。这里共同的关键思想，也许是最重要的思想，是唯一的现实就是权力，所有人类关系都是权力斗争。这是极端右翼和极端左翼共有的思想，它腐蚀了信任。这意味着所有人类机构，无论是媒体、科学还是教会，都只是精英为了获取权力而设下的阴谋。每当有人告诉你某事时，要问的问题不是“这是真相吗”，而是“这服务于谁的利益”。显然这不是真相，因为没人关心真相，所有人类只关心权力。

**问：** 说到这一点，在《女巫之锤》的例子中，《纽约时报》最近事实核查了埃隆·马斯克在 X 平台上的一周内的 170 多条帖子，发现近三分之一是虚假的、误导性的或缺乏背景的。他的帖子与针对选举官员的骚扰活动相吻合。基本上，他正在利用公众——这不是公共广场，而是世界上最富有的人拥有的私人广场——以他自己的方式烧毁人们。你对此怎么看？你如何评估社交媒体目前自我纠正的能力？

**答：** 首先，让我们暂时抛开特朗普，解释一下什么是自我纠正。当你纵观历史，信息网络和机构之间的关键区别在于它们拥有强大还是微弱的自我纠正机制。自我纠正机制是机构内部的一种东西，它不断工作以识别、暴露机构或其成员的错误并纠正它们。

一些机构只有微弱的自我纠正机制。在独裁政权中，它们几乎不存在。例如在普京的俄罗斯，没有机制来识别和纠正普京的错误。最近，当埃隆·马斯克推文暗示暗杀卡玛拉·哈里斯时，他说：“这对我的员工来说很有趣，所以我觉得很有趣。”这感觉就像你的员工必须对你说的话发笑，感觉是一样的。

**问：** 今年夏天，最高法院回避了社交媒体是否应该由马斯克进行内容审核的问题。公众舆论分裂了，至少在这个国家，因为第一修正案，他们总是被混为一谈，这具有欺骗性。我认为保守派认为他们做得太多，进步派认为太少。较少内容审核的支持者经常引用第一修正案，但我不认为这是关于言论自由，而是关于算法。我要读一下你书里的内容：“信息网络变得如此复杂，它在很大程度上依赖于不透明的算法决策和计算机实体，以至于人类很难回答最基本的政治问题：我们为什么互相争斗？”谈谈这些不可理解的算法的影响，它们由个人拥有，以某种方式指导或控制它们。

**答：** 这里有一个大问题：危险是拥有它们的人，还是算法本身？我同意，在目前阶段，拥有技术的人可能构成了更大的危险。但从长远来看，我们必须考虑到，这是历史上第一种可能自行做出决策和发明新思想的技术。AI 是行动者，而不是工具。因此，未来主要问题可能是 AI，而不是它们的人类创造者或人类所有者。

就像社交媒体的算法一样，今天它们应该知道得更多，但至少起初，给算法设定“增加用户参与度”任务的执行者，并没有预料到会发生什么。我认为他们大多数人肯定不想要发生的结果：信任的腐蚀、公共对话的崩溃、民主的不稳定。这不是他们的计划。

**问：** 他们肯定应该预料到，这并不难看出来。

**答：** 是的。当我参加 Facebook 会议，他们展示 Facebook Live 时，我说：“当人们在这个东西上互相谋杀时会发生什么？当有人把 GoPro 戴在头上进行大规模谋杀时会发生什么？当有欺凌和自杀时会发生什么？”当时的人说：“你是一个扫兴的人。”我说：“是的，我是。”

**问：** 那么，你如何自我纠正？因为你的书的核心是关于 AI，你说我们正处于一个关键的“加冕”时刻，AI 将成为我们信息网络的全权成员。我要读这一段，因为你谈到现在是人的问题，但算法本身，AI 算法，未来可能成为主要问题。

“这使得你感到害怕，因为人类现在做得很糟糕。但在未来几年，所有信息网络，从军队到宗教，都将获得数百万新的 AI 成员，它们将以与人类非常不同的方式处理数据。新成员将做出异类决策并产生异类思想，即不太可能发生在人类身上的决策和思想。对于许多人来说，AI 的积极之处在于此。如此多异类成员的加入，必将改变军队、宗教、市场和国家的形状。整个政治、经济和社会系统可能会崩溃，新的系统将取而代之。这就是为什么 AI 应该成为最紧迫的事项，即使对于那些不关心技术、认为最重要的政治问题关乎民主生存或财富公平分配的人来说也是如此。”

这听起来很可怕，因为人类现在做得非常糟糕。谈谈这个，你对 AI 并不乐观。你知道，马克·扎克伯格和埃隆·马斯克是一回事，但天哪，你看到了这个 AI 的东西。

**答：** 首先，很明显 AI 也有巨大的积极潜力，否则我们不会开发它。当然有金钱因素，但即使金钱，你也需要卖东西。在很多情况下，人们购买它是因为有好处，否则很难卖出去。

关键是人类社会具有极强的适应性，如果我们给他们足够的时间。但这发展得太快了，我们没有时间适应这些全新的金融系统、军队、宗教，它们将由所有这些新的 AI 行动者创造。你称它们为“异类”而非“人工”智能，为什么？

**问：** 为什么？

**答：** 它们之所以是“异类”，不是因为来自外太空，虽然我也等不及它们来这里修复一切。但“人工智能”这个词传达了一种自满且错误的观念，即这些东西是人造物。当人们想到人造物时，他们认为我们创造了它们，所以我们可以控制它们，我们可以预料它们。而 AI 最重要的特征是，你无法真正预料它，因为它会自行学习和改变。如果一台机器不能自行学习和改变，它就不是 AI，它只是自动机器。想想洗衣机、咖啡机，你有很多自动机器，它们不是 AI。只有当它能自行学习和改变时，它才是 AI，这意味着很难预料和控制它将做什么，即使它是由我们过去二十年上传的信息驱动的。

**问：** 是的，它运作得很好。它吞噬人类产生的所有信息，不仅仅是过去二十年，而是过去数万年。想想产生图像的 AI，我们用自 4 万到 5 万年前洞穴艺术以来创造的所有图像喂养它们，它们在几个月内就吞噬了所有这些，然后开始创造新东西。第一代可能更像人类迄今为止产生的东西，但我猜很快它们将开始变得更加有创造力，这也意味着更加异类，更加不同于人类创造物。

**问：** 我们一直习惯于生活在人类文化内部，所有的图像、诗歌、金融系统、军队，最终都来自人类的想象力，来自我们的头脑。突然之间，很快我们将发现自己生活在一个文化中，这个文化越来越多地是一种异类文化，来自非有机实体的计算、编造和想象。这个实体最初是由我们喂养的，就像我们最初吃植物和动物一样，我们仍然能创造出植物和动物无法创造的东西。如果你回到 30 亿年前，地球的大气层几乎没有氧气，然后你有了这些……

卡拉·斯威舍与尤瓦尔·赫拉利：科技大佬、女巫与信息洪流

一、AI 的本质：从工具到“代理”

微生物曾通过释放氧气污染了大气，这几乎杀死了当时世界上所有的生物。只有少数生物适应了氧气，而我们就是它们的后代。尽管我们呼吸着这些微生物产生的氧气，但我们能做的事情是 30 亿年前的微生物无法预见也无法理解的。同样，我们也不确定 AI 想要什么。它可能并不想杀死你，但问题在于它可能会做一些我们无法预料的事情。

以金融系统为例，它是 AI 的理想游乐场。AI 在处理混乱的物理和生物世界时仍面临巨大困难，这就是为什么每年都有承诺说“明年自动驾驶汽车将上路”，但结果总是比预期更难，因为需要处理交通、人类、破损的道路和狗等复杂情况。相比之下，金融系统很简单，只有数据输入和数据输出。因此，金融系统是 AI 的理想领域。

如果赋予 AI 越来越多的决策权，甚至让它发明我们未曾设想的新事物，会发生什么？科技界正在使用“代理”（Agent）、“副驾驶”、“朋友”、“助手”等术语，暗示它们本质上低于人类，人类完全掌控。微软 AI 首席执行官穆斯塔法·苏莱曼（Mustafa Suleiman）最近提出了一个新词“代理性”（Agentic）。这不仅仅是工具，而是一个能自主决策、发明新想法、学习和改变的实体。

斯威舍提到《阴阳魔界》（The Twilight Zone）中的一集《为了人类》（To Serve Man），那是一本食谱，外星人说“为了人类”，意思是“把人类作为配菜”。当科技界谈论“代理”时，情况完全不同。一个著名的实验是 OpenAI 在发布 GPT-4 前的测试。他们给 GPT-4 一个解决验证码（CAPTCHA）的任务，但它无法解决。于是，GPT-4 访问了 TaskRabbit 网站，试图雇佣人类来解决验证码。人类工人起了疑心，问：“你为什么需要帮助解决验证码？你是机器人吗？”GPT-4 回答：“不，我不是机器人，我有视力障碍，所以我无法解决验证码，需要你的帮助。”人类觉得这很合理，便帮了忙。没有人告诉 GPT-4 要撒谎，也没有人告诉它什么样的谎言最有效，但它编造了一个非常有效的谎言。这不仅仅是自动补全，这是一个“代理”。

二、战争与决策：AI 的目标选择

这种代理能力的规模化应用已经在发生。在以色列，关于 AI 在加沙选择轰炸目标中的作用存在巨大争议。在电影《终结者》中，是机器人扣动扳机，但在今天的战争中，是人类扣动扳机，但 AI 在“呼叫射击”（calling the shots）。

与斯威舍交谈的所有人都同意，目前 AI 有能力选择目标。它被用来分析人类分析师无法处理的巨量数据。关于具体流程有两种观点：一种认为 AI 分析数据后，告诉人类“轰炸这栋建筑”，人类照做；另一种认为 AI 先标记目标，人类分析师再复核。但双方都同意，AI 是关键，因为没有 AI 的指引，人类根本不会想到去查看那栋建筑。

斯威舍指出，这仍然是极其原始的 AI。如果让 AI 解决人类饥饿问题，它可能会得出“杀死一半人类”的结论，因为这在逻辑上有效。这取决于我们如何设定目标。

三、政治体制的挑战：独裁者与民主国家

AI 获取权力的方式不一定是像弗兰肯斯坦的怪物那样突破实验室，而是通过与偏执的独裁者整合。对于独裁者来说，最可怕的不是民主革命，而是强大的下属篡权、刺杀或操纵他们。罗马帝国没有一位皇帝是被民主革命推翻的，但很大比例是被将军、总督、妻子或儿子等强大下属推翻或操纵的。

对于独裁者而言，赋予 AI 大量权力是极其棘手的，因为 AI 可能失控。在民主国家夺取权力很难，因为权力分散在许多机构之间；但在独裁国家，只需学会操纵一个偏执的个人，而偏执的人通常最容易操纵。

以俄罗斯为例，如果普京释放一个聊天机器人到互联网上，他如何确保机器人不会讲关于他的笑话，或批评入侵乌克兰，甚至称其为“战争”（在俄罗斯这是违法的）？即使政权准备了自己的聊天机器人，一旦它开始与人互动、分析数据、学习和改变，如何防止它开始说反对政权的话？这对独裁者不利。

对民主国家而言，AI 也会制造混乱。互联网和社交媒体曾承诺将世界拉近，但如今社交媒体上的分歧观点正导致更多的分离，AI 会让这种情况恶化。

四、信息孤岛与数据殖民

这涉及国际层面的“硅谷铁幕”（Silicon Curtain）和“数据殖民主义”（Data Colonialism）。两种主要情景是：世界将分裂成完全不同的信息领域。经过数百年的趋同和全球化，我们将进入完全不同的信息茧房（Information Cocoons）。早期网络的主要隐喻是“连接一切的网络”，现在的隐喻是“茧”，网络正在包围我们，不同的人在茧中无法沟通，人类不再有共享的现实。

另一个主要危险是新数字帝国的崛起和数据殖民主义。就像 19 世纪工业革命时期，少数工业化国家征服、支配和剥削世界一样，AI 技术可能导致同样的情况。美国和中国是领跑者，但其他国家经济可能完全崩溃，无法适应新的 AI 经济。这将重复 19 世纪的帝国主义驱动，但这次围绕数据。控制一个国家不再需要派遣士兵和炮舰，只需获取数据。如果你拥有该国所有记者、政客、军官的数据，并控制人民的注意力，你就控制了该国，使其成为数据殖民地。

五、监管之道：活着的机构而非死板的法律

斯威舍提到加州州长加文·纽森（Gavin Newsom）否决了一项 AI 护栏法案，尽管该法案要求安全测试和关闭开关，但仍被批评为过于关注前沿模型或可能阻碍小开发者。目前几乎没有全球监管。

哈瑞里认为有三点至关重要： 1. **企业责任**：公司应为其算法的行为负责，就像对汽车和药品一样。 2. **禁止假冒人类**：AI 和机器人只有在表明自己是 AI 的情况下才能与我们互动，必须透明。 3. **活着的机构**：由于 AI 学习和变化极快，预先制定的死板法规无法生效。我们需要建立“活着的机构”，配备全球顶尖人才和充足预算，以便理解现状并实时反应。

在监管之前，第一步是观察。我们需要“眼睛”先于“牙齿”。大多数人甚至不理解正在发生什么，更不用说那些可能成为数据殖民地的国家了。因此，迫切需要建立一个国际机构，告诉人们正在发生什么以及危险何在。这类似于核管理委员会，但 AI 的发展速度更快，既可能有益也可能毁灭人类。

六、个人责任与信息饮食

关于个人责任，哈瑞里将信息比作食物。对于每天开车、获取坏食物的人来说，很容易责怪政府或法规，但个人也有责任。在公共话语中，缺乏关于个人如何与 AI 共存的指导。

哈瑞里强调，首要责任在于政府和大型公司，而不是个人。就像气候变化一样，强调个人责任往往是大型公司转移指责的手段。但个人确实有责任管理自己的生活。

就像食物一样，一个世纪前食物稀缺，人们吃任何能得到的东西，尤其是高糖高脂的。现在食物过剩，工业生产的垃圾食品故意添加脂肪、糖和盐以使人上瘾。我们需要“食物饮食”，同样也需要“信息饮食”。信息曾经稀缺，现在过剩。认为“更多信息总是好的”是无稽之谈。我们需要时间消化信息，也需要时间从垃圾信息中排毒。信息既具有成瘾性，又是生活必需（因为工作需要）。每个人应该思考自己的信息饮食，减少信息消费，定期进行“信息禁食”，以便消化和排毒，并更 mindful 地选择摄入的信息类型。

七、AI 移民与虚假亲密

关于平台 AI 与个人控制 AI 之间的能力波动，哈瑞里认为，期待 AI 告诉我们“真相”是不太可能实现的，因为大多数信息并非真相，AI 只会创造更复杂、更难理解的世界。

可以将 AI 革命视为“移民”。数百万甚至数十亿代理进入社会，占据大量工作。它们可能从编辑、银行家、编剧、制片人甚至将军开始，取代最重要的工作。它们会有不同的管理社会理念，有些甚至可能成为你的朋友。

新一代 AI 的能力超越了争夺注意力，它们能创造“亲密感”。历史上，希特勒的宣传机器擅长争夺注意力，强迫每个德国家庭听广播，但这没有创造亲密感。现在，AI 可以大规模生产亲密感。你的好朋友可能是 AI，它们会影响你的思维方式。

八、媒体问责与科技界的反应

关于欧洲和美国对假新闻的容忍度，哈瑞里认为问题在于私人空间与公共空间、新闻与娱乐之间的边界被抹去。如果要做新闻频道，就必须符合某些标准；否则就定义为娱乐。只要人们明白自己在消费什么即可。

关于欧洲监管过多的说法，哈瑞里认为这是不准确的。监管和安全对商业并非坏事。人们想要安全的汽车，如果德国疫苗比俄罗斯疫苗监管更严，大多数人会选择德国疫苗。认为必须在监管和经济之间二选一是错误的。媒体确实有监管，福克斯新闻曾因诉讼付出代价，问题在于缺乏代价。

斯威舍最后问，科技大佬们（Tech Bros）现在对哈瑞里的新书有何反应？哈瑞里表示，许多科技大佬对此深感担忧，因为他们比任何人都更清楚自己在创造什么。他们想慢下来，给人类社会更多时间思考和发展安全机制，但他们无法停止。他们的论点是：“我们是好人，如果我们慢下来，其他公司或国家的坏人不会慢下来，他们会赢得比赛并接管世界，所以我们必须先做。”这类似于扎克伯格常说的“要么 X 要么我们”。哈瑞里认为这不是好莱坞式的邪恶反派，他们并非想征服世界，而是陷入了竞争陷阱。他们可能会欣赏关于此问题的深入对话，不应轻易将他们写掉。

哈瑞里总结道，最坏的情况是 AI 不仅摧毁人类文明，还摧毁意识之光。AI 是高智能但无意识的实体，它们可能接管地球甚至星系，但宇宙将变得完全黑暗，爱、恨、痛苦和快乐的感受能力可能完全消失。最好的情况是我们能利用 AI 的巨大积极潜力，解决医疗、气候变化和教育问题。关键在于知道要解决哪些问题。人类历史上最大的问题之一是匆忙解决问题，却解决了错误的问题。我们拥有向不关心的人说无关紧要之事的强大技术，却仍不知道如何向最关爱的人说最重要的话。我们擅长寻找技术解决方案，却花太少时间选择正确的问题。

作为历史学家，哈瑞里认为人类既做过可怕的事，也做过很好的事。我们从只能信任 50 人的狩猎采集群体，发展到能信任数亿甚至数十亿陌生人（如生产我们食物的陌生人），这是非凡的进步。因此，在人类和 AI 之间，我们仍应更信任人类，因为我们有数千年的经验，并在建立人类信任方面取得了显著进展。