信息时代的风险与机遇
**演讲/访谈嘉宾：** 尤瓦尔·赫拉利 (Yuval Noah Harari)、林香织 (Kawi Hayashi)、阿里萨 (Arisa) **日期：** 2025-05-30
---
一、信息、故事与人类的管理
尤瓦尔·赫拉利的新书《联结》(Nexus) 探讨了信息的本质。我们通常认为信息是用来告知我们事实，以便做出更好的决策。但赫拉利在书中强调，信息首要的用途是创造故事，而人类是讲故事动物。故事代表了所谓的“主体间现实”(intersubjective realities)。故事的力量非常强大，它们能让我们毫无理由地仇恨甚至杀戮。这在当今时代是如何可能的？
理性与科学让我们掌握了世界，但并未让我们掌握自己。在历史上几乎所有情况下，懂得管理事物的人，其命令都来自懂得管理人的那些人。而管理人的方式，通常是通过故事。
为了具体说明这一点，我们可以看 20 世纪最大、最危险的科学工程之一——曼哈顿计划，即第一颗原子弹的制造。制造原子弹需要什么？你需要铀或钚的临界质量，需要足够多的铀原子聚集在一起。但你也需要同样的临界质量的人类聚集在一起。如果你只有一个人，哪怕你是爱因斯坦、海森堡或奥本海默，你是世界上最伟大的物理学家，你知道 E=MC²，精通核物理的一切，但如果你只是一个人，你永远无法制造出核装置。要制造核弹，你需要数十万人合作。曼哈顿计划中直接工作的人员超过 10 万，不仅有物理学家和数学家，还有技术员、工程师、建筑劳工，以及为他们做饭和清洁厕所的人。此外，还需要数十万人来为他们种植食物和开采铀矿。用于炸弹的铀矿部分来自刚果，所以需要刚果的人来开采铀矿。
如何让数十万人为了这样一个项目合作？如果你只是告诉他们 E=MC²，这是行不通的。虽然这是真理，但它无法激励人们做任何事。所以你需要好的故事讲述者。今天的情况也是如此。以我所处的中东地区为例，以色列的核能及其他武器生产专家懂得科学，但他们很多时候听从犹太神话学家的命令。而在边境的另一侧，工程师和科学家也听从其他神话学家的命令。因此，即使在理性和科学的时代，至少到目前为止，终极权力仍然掌握在神话制造者和故事讲述者手中。
二、非人类的故事讲述者：人工智能的崛起
目前正在发生的一个巨大变化，也是我们将要讨论的，是出现了一位新的神话制造者，而且它不是人类。这是历史上第一次，地球上出现了某种能够讲述故事甚至发明新故事的非人类存在，那就是人工智能 (AI)。
**林香织 (Kawi Hayashi)：** 媒体当然在信息的流通中扮演着核心角色。您如何看待它们在故事讲述业务中的作用？
**赫拉利：** 媒体目前正面临巨大挑战，因为数字化变革使得每个人都可以成为记者，网络变得去中心化。媒体创造故事，但社会的每个角落的人们也在创造自己的故事。我认为，新闻业一直被视为民主中的自我修正工具，这也是我书中的关键词。媒体也创造公共话语，塑造人们的理解，尤其是在民主社会中。但我们必须明白，媒体不是中立的。任何媒体都作为框架 (framing) 和议程设置 (agenda setting) 运作。我们必须始终认为偏见是不可避免的，即使我们赞扬专业新闻业。企业媒体因数字化而受到严厉审视，在日本，媒体也常被视为偏向强势利益而忽视边缘声音。选择报道什么以及如何报道，从来都不是中立的。当我在纽约时，我看到涂鸦写着“中立有利于压迫者”。我认为这是新闻界近期盛行的叙事。平衡故事讲述与事实准确性非常困难。
**赫拉利：** 数字化变革如何改变故事讲述？第一个已经改变世界的变化是编辑角色的转变。当你拥有大量信息时，瓶颈变成了人类的注意力。你有这么多故事在争夺注意力，你无法阅读或观看所有内容。你给什么注意力？这就是编辑的角色。传统上，报纸编辑的角色是决定明天报纸的头版放什么。你必须考虑什么是真实的，你不想在头版刊登谎言。但有很多真实的故事，你无法全部刊登。所以还有其他考量：什么最重要？通过在头版刊登某些内容，你塑造了数百万人的对话。数百万人阅读、思考、谈论它。即使他们不同意你，你也抓住了他们的注意力。而抓住人们的注意力是权力的关键。
我们在特朗普和哈里斯的辩论中看到了这一点，大多数人记得的唯一内容是特朗普关于猫和狗的说法。这就是权力。无论你是否同意，无论它是谎言还是真理，能够抓住注意力就是权力。他是公关天才。在其他领域他可能不是天才，但在公关方面，他确实知道如何抓住人们的注意力。
看看 20 世纪决定头版内容的编辑的权力。例如，列宁在成为苏联独裁者之前，他的工作之一是报纸《火星报》(Iskra) 的编辑。墨索里尼最初是记者，后来成为报纸《意大利人民报》(Il Popolo d'Italia) 的编辑，然后成为独裁者。这就像是晋升阶梯：记者、编辑、独裁者。那么今天世界上最重要的编辑是谁？他们叫什么名字？他们没有像墨索里尼或列宁那样的名字，因为他们不是人类。最重要的媒体——社交媒体——的编辑是谁？谁编辑推特 (Twitter)？谁编辑 Facebook 新闻源？谁编辑 TikTok？不是人类，而是算法，是人工智能。它们已经接管了这个非常强大的职位，决定什么将抓住数百万人的注意力。这也是民主危机的原因之一，因为民主应该是人类之间的对话，但现在正被算法接管，而且是非常原始的人工智能。
下一步，我们已经看到其端倪，是人工智能不仅编辑人类写的故事，而是自己创造故事。我们不知道结果会是什么。我们有数千年来人类讲故事的经验。当数百万个超级智能的人工智能被释放，能够创造新故事时会发生什么？新故事不仅仅是电视剧剧本或小说。新故事是由人工智能创造的新宗教，是新的金融工具。有史以来最成功的故事是金钱的故事。金钱也是一个故事，它是每个人都相信的唯一故事，是创造过的最成功的故事。当我们的未来金融故事来自非人类智能时会发生什么？
三、治理、责任与资本主义的修正
**阿里萨 (Arisa)：** 您是人工智能治理方面的专家，我相信您有话要说。
**阿里萨：** 谢谢。我是研究人工智能治理问题的。我对您所说的以及您如何处理人工智能非常感兴趣。您似乎在某种程度上将人工智能作为主体。人工智能控制或可能具有某种破坏性影响。但我想知道，我们是否可以将人工智能视为人类化 (humanization of AI)？我的观点是，至少目前，人工智能背后实际上是人类。我同意算法确实改变了世界，影响选举或我们的思维方式。然而，作为人工智能治理的研究者，我认为在一定程度上，例如大公司可以承担治理角色。比如 Meta 声明他们将停止事实核查，但如果这些治理机制能更好地运作，我们可以相信社会不会那么灾难性或混乱，因为某种程度上我们可以控制，或者说至少可以说背后有人类带着善意，愿意为他们的产品或服务承担责任。
当我听到您将人工智能作为主体时，我也理解关于“代理型人工智能”(Agentic AI) 的讨论。我们今天看到的人工智能，如 ChatGPT 或 Gemini，是人类创建任务，然后我们提示，让任务执行。虽然有些大语言模型 (LLMs) 可以在没有我们干预的情况下进行下一步行动，但代理型人工智能这个概念仍然模糊，更像是人工智能在没有人类干预的情况下自动执行行动。或者更像是 AGI（通用人工智能）的问题，更高级的超级人工智能。但我认为那离现在还有点远。我只是想知道，当您谈论人工智能作为主体时，是否会让听众感到困惑，或者可能是在讲述关于人工智能能做什么的可怕故事。我想听听您现在将人工智能作为主体的意图。
**赫拉利：** 当我将人工智能称为主体时，我只指的是能动性 (agency)，而不是意识或类似的东西。我不认为人工智能有意识，有感觉。它们在伦理或哲学意义上不是主体，但在拥有能动性的意义上是主体，目前是有限的能动性，未来可能是无限的能动性。
一种理解方式是思考人工智能与官僚机构。想象一下日本最有能力的律师，她是一个非常有影响力的人，她熟悉国家的法律，能办成事，能在法庭上做出判决。但她的权力是什么？她的权力只存在于特定的法律、机构和政府办公室的官僚体系内。如果你把她扔到丛林中间，她毫无权力。任何大象、任何鬣狗都比她强大。但在现有的官僚体系内，她比世界上所有大象加起来都强大。人工智能也是如此。如果你孤立人工智能，把装有 ChatGPT 的智能手机扔到草原中间，它什么也做不了。它在动物意义上没有能动性。让我们开始挖地找铁造机器人吧。它做不到。但在人类已经创造并强加于世界的现有官僚结构内，人工智能已经拥有巨大的能动性和权力，比许多人类都多，因为人工智能是本土官僚。没有律师能记住一个国家的所有法律，人工智能可以轻松做到。没有银行家能跟上市场上每时每刻发生的所有事情，人工智能可以。所以在金融、法律、军事领域，人工智能正在获得巨大的能动性。
如果我们看大约 10 年前的典型案例，缅甸的罗兴亚人 (Rohingya) 大屠杀，这在很大程度上是社交媒体上 Facebook 传播宣传的结果。宣传是 Facebook 算法故意传播的，目的是获得更多的参与度，让缅甸人在平台上花费更多时间，因为这是公司的商业模式。需要理解的关键是，Facebook 总部没有任何人类对罗兴亚人怀有恶意，也不了解发生了什么。他们甚至不会说那种语言。并不是加州的某个人类说：“哦，我讨厌罗兴亚人。让我们开始传播针对他们的宣传，以便他们杀死并驱逐他们。”不，人类告诉算法的非常简单且看似无害的事情是：“增加缅甸的用户参与度。让人们更投入。在我们的平台上花费更多时间。”这听起来不错。参与度。然后算法通过在缅甸数百万人身上进行实验，通过试错发现，如果我们向人们展示充满仇恨的阴谋论，他们会变得非常投入。他们在平台上花费更多时间。如果我们向他们展示佛教慈悲布道，他们会去做别的事。所以算法做出了决定：让我们向人们展示更多阴谋论，更少慈悲布道。
当然，最终责任在于人类。你可以去找 Facebook 的管理者问：“你们做了什么？为什么在没有适当监督、事实核查的情况下释放如此强大的引擎？”所以最终责任仍然在人类身上。但要理解缅甸发生了什么，这是大约 10 年前，2016、2017 年的事，我们需要考虑到有一个新的行动者，它能够像那样运作。这在广播时代是不可能的。如果你只是向人们分发广播资产，广播不能告诉你听什么。广播不是编辑。但 Facebook 平台不像广播。它有做出决定的能力：“哦，让我们向人们展示这个内容。”所以治理意味着人的责任。目前我们唯一能监管的是人。我们能否让人负责或承担更多责任？责任是一种激励人们做好事、避免坏事的工具。这是一种治理方法吗？
**阿里萨：** 我想问关于算法主导的状态。这是否来自盛行的资本主义？我从您的书中得到的关键词是“自我修正机制”。民主有其自我修正机制，但我想知道资本主义是否有自我修正机制。人们曾经相信市场会解决，看不见的手等等。但在 20 世纪后半叶，似乎行不通了。另一方面，人们试图纠正这种资本主义，政府试图纠正资本主义原则。您如何看待资本主义与算法主导之间的关系？如果我们想纠正这种主导，我们能否从经济原则入手，还是您认为只有人类的治理才能解决问题？
**赫拉利：** 我不会只依赖市场力量来纠正它。资本主义确实有自己的通过市场的自我修正机制。最终，当它运作良好时，资本主义的核心实际上是一个非常积极的思想，即双赢经济和双赢局面。在历史上大部分时间里，人们有时将资本主义与贪婪混淆。但贪婪只是人性的一部分。早在资本主义出现之前，就有贪婪、奴隶制、剥削。这些东西不是资本主义产生的。我们在近几个世纪看到，共产主义者可以像资本家一样贪婪和剥削。所以我不会把所有责任都归咎于资本主义。当它运作良好时，资本主义的关键思想是经济蛋糕可以增长，这样每个人都可以同时享受更多。在历史上大部分时间里，经济思维，如果我没错的话，是经济是一个有限大小的蛋糕。如果我拥有更多，意味着你拥有更少。所以富有是坏的，富人必须贡献和做慈善来补偿。资本主义的关键思想是，如果你将获得的利润投资于增加生产，整个经济蛋糕可以增长，每个人都可以同时拥有更多。这种双赢思维现在正受到挑战，例如特朗普政府。关税的整个想法完全违背了这种双赢资本主义的关键原则。但当然有市场失灵。如果你只给一家公司或一个算法增加生产的目标，在社交媒体中意味着增加参与度，产生更多在平台上花费的时间。这不会自我调节。在这里我们需要政府的干预来监管它。两个最明显的监管措施。首先，公司应为其算法的行为承担责任。公司不断试图混淆视听，说这违背了言论自由。政府想让我们审查用户。我认为这是故意的混淆。问题不在于用户在做什么。问题在于公司的算法在做什么。如果有人发布充满仇恨的阴谋论，我现在写一些阴谋论并发布在 Facebook 上。至少我个人认为，除非在极端情况下，不应审查，也不应惩罚这个人。问题不在于发布这个充满仇恨帖子的人类。问题在于 Facebook 算法或 TikTok 算法现在拿起这个帖子，故意向数百万其他人展示，因为它假设这将增加参与度。这是问题所在。问题是算法的行为，这不受言论自由保护，因为算法没有言论自由。所以你不能通过说“哦，但它有言论自由”来保护 Facebook 或推特算法。它没有。
另一个我认为每个政府都应尽快通过的关键监管是禁止“假人”(fake people)。就像很久以前禁止假钱一样。如果你伪造货币，你会坐牢。你应该对人类拥有与对货币一样多的保护。所以你不能伪造人类。伪造人类意味着什么？意味着人工智能或机器人假装是人类。以前没有办法做到这一点。现在技术有了。如果我们想保持民主，即人类之间的对话，而不是被机器人接管。所以再次强调，非常简单明确的法律，禁止人工智能假装是人类，如果公司允许或这样做，应受到惩罚。人工智能欢迎在各种情况下与我们交谈，前提是它们披露它们是人工智能。
四、人工智能时代的教育变革
**主持人：** 我们今天也谈到教育和科学，让我们也许转向教育的问题。您认为教育应该如何应对数字化转型或您刚才提到的人工智能问题？教育系统是否有需要改变的地方，以便变得更好？
**赫拉利：** 我认为一个关键原则是理解，历史上第一次，我们不知道世界在 10 年后会是什么样子。所以作为教育者，我们的责任比历史上任何时候都更重、更困难。当然，你永远无法预测政治事件。你永远无法预测流行病或地震，但很多其他事情是可以预测的。在历史上大部分时间里，基本的经济结构没有很快改变。人们需要的技能没有很快改变。所以如果我们回到 500 年或 1000 年前，在日本的封建时代，人们知道要教年轻一代什么技能。他们需要知道如何读写。他们需要知道如何骑马。他们需要知道如何种水稻、烘焙。当我们展望未来时，我们不知道需要什么技能。即使在 10 或 20 年后，人们说：“好吧，让我们教年轻一代如何编程。这是人工智能、计算机的时代。每个人都需要编程。”也许 10 年后，人工智能做所有的编程。你不需要人类程序员。所以很难知道。因此，教育应该给年轻人最重要的东西是灵活的心态和终身不断改变和学习的能力，因为这是我们唯一确定的事情，即变化的速度不会减慢。它可能会加速。所以大问题是如何教育一个如此灵活的大脑，使其能持续学习和改变，不仅在 20 岁时，而且在 30、40、60、70 岁时，以跟上世界的巨大变化。
另一件事是，这么多教育基于语言和智力，尤其是以语言技能形式的智力，我也包括数学语言，不仅仅是词语。这一直是人类超能力，我们对语言的掌控，我们所有的大机构都基于语言，无论是银行还是寺庙和宗教，它们都基于语言。而现在，我们地球上有了某种比我们更精通语言的东西。而我们还没有接受这一点。
在金融体系中，人工智能很快将在阅读和书写金融语言方面比任何人类银行家都更有能力。当我看宗教时也是如此。以犹太教为例，犹太教是一个神圣化文本而非人类的宗教。在宗教的核心，有一个文本，被认为是无误的，超人类智能。过去 2000 年，犹太教与文本的问题是文本是沉默的。人们有很多问题，如何解释这段难懂的经文，如何将圣经中的这段经文与现实生活情况联系起来，文本保持沉默。所以你需要文本专家，拉比，他们从文本中获得权威，是文本的代言人。在 2000 多年里，他们编写了越来越多关于文本的文本。现在，第一次，你有了某种能理解你的东西，你有一个能与你对话的文本。没有犹太拉比能够阅读和记住犹太教的所有文本。文本太多了。人工智能可以。所以在竞争中，谁更理解犹太教？人类拉比还是人工智能？人工智能注定会赢。当一个文本宗教突然遇到一个能回话的文本时会发生什么？如果你有问题，你不需要拉比。你可以直接问文本，它会与你对话。基督教、伊斯兰教、印度教和许多宗教都有同样的问题。所以这一切都与教育有关，在一个我们不再是语言主人的世界里。教育中最重要的事情是什么？继续教语言。这是一个失败的战略。所以我们需要连接和探索人类的其他方面，那些不是词语、不是语言的方面。如果人们问，那么人类还有什么独特之处是人工智能没有的，我们在一开始提到过，是意识、感觉、身体。所以我认为，在人工智能时代，一种排除身体、排除感觉和意识的教育是有问题的。这在 20 世纪或 19 世纪可能足够好，至少在经济上，但在 21 世纪，我们必须在教育、在大学中更多地连接到感觉和身体的层面，因为这是我们拥有的，而人工智能没有的。
**阿里萨：** 我同意您所说的关于教育，我们可以为下一代做的，是关注文本以外的东西。但另一方面，我自己已经有点累于追赶了。您说我们需要某种灵活的心态，不断改变。不是每个人都能赶上的。也许如果您想接受这种多元观点，也许值得谈谈，也许不是每个人都能赶上所有技术，也许这可能是一个令人疲惫的世界，或者非常快速变化、令人兴奋的世界，但您说“令人兴奋”并不总是好的术语。所以我认为，当我们教育学生或再培训人们时，我们需要考虑每个人的速度或节奏，也许谈论一个人的能力或技能变得更加重要，而不是我们过去那样，一个老师教 60、100 或 1000 名学生。这是我从中想到的。另一点是，我认为教育的作用是让学生或人们培养对世界或社会的好奇心，并告诉他们继续思考是好的，因为在当今世界，如果你问 ChatGPT 或大语言模型一些问题，某种答案会回来，即使是好答案、坏答案或虚假信息，某种程度上会有东西回来。所以也许人们停止思考这类问题是有风险的。但我认为当今世界的大多数问题都是未解决的，我们需要继续谈论这些社会问题、政治问题、环境问题或宇宙相关问题。所以即使我们可以很容易地得到答案，但也许即使我们可以使用 ChatGPT 或 Gemini，我们也需要教导或我们自己思考，我们需要继续思考这个问题是否正确，或者在好的意义上，或者这可能导致批判性思维。但我认为这可能变得非常困难，因为 ChatGPT 很容易给我们答案。所以我们需要告诉学生或实际使用它的人，当你从文本得到答案时不要停止思考，那种批判性思维的方式可能非常重要。
**林香织：** 谢谢您的难题。对于日本背景，东京大学是学术界的一个机构，这真的很难。我们一直在努力将自己转变为一种新的 21 世纪类型的教育机构。但由于我们 150 年的悠久历史，有些部分很难改变。顺便说一句，我非常印象深刻您的一段话，即历史的研究不是过去的研究，而是变化的研究，这真的让我印象深刻。但东京大学为此做了什么？我们正迈着缓慢但坚定的步伐。我们一直强调跨学科性。例如，我们试图让 AI 科学家和教育研究人员合作，思考如何最好地使用技术，因为正如我们讨论的，人工智能不仅仅是人工智能本身，它涉及所有学科。所以跨学科性在我们的课程中是必须的。我们还启动了一个博士项目，去年推出的，叫做 BAI 博士项目 (BAI PhD program)。这是一个针对下一代具有跨学科技能的人工智能研究人员的培训项目，专注于跨领域合作和创造社会价值，并提供研究交流会、实习和工作坊以及创业培训，以便学生不仅能接触到大学内部，还能接触到大学外部正在发生的事情。我认为学术界总是珍视学术和科学的成就，但如今我们必须跟上大学外部发生的事情，因为产业垄断了数据等。所以产业或大型科技产业垄断了数据库，他们是能做数据科学的人，我们不能忽视这一点。所以我们试图让我们的学生看看大学外部正在发生的事情。我们还创建了教授之间的论坛，这是一种自愿组织的论坛，我们讨论人工智能如何支持教学和研究，同时保持学术诚信，因为许多研究人员，包括我自己，都有种恐惧，如果我们使用人工智能进行研究和教学，我们可能会觉得我们在作弊。我们不知道使用人工智能时作弊开始的界限在哪里。所以我们真的想讨论其他人如何使用人工智能，并确认这些案例是可以的，而那些案例是不可以的，因为这是全新的。我们有这种论坛。此外，作为个人倡议，我创立了一个叫做 BAI 全球论坛 (BAI Global Forum) 的研究项目，您也是成员之一，专注于人工智能与性别、少数群体和社会影响的关系。这是我创立的项目，我的同事和阿里萨也是其中一员，他们领导着大学内部社会问题与人工智能的关系。BAI 全球论坛这个名字意味着人工智能之后 (Behind AI)、超越人工智能 (Beyond AI) 和人工智能之前 (Before AI)。所以我们试图研究历史和当前的基础，即人工智能在这个世界中是什么。所以我认为我们以这些方式试图保持灵活。我们试图建立论坛，建立学习小组，也将学生聚集在一起进行跨学科研究等。但这在路上。我认为世界上大多数大学都在挣扎。我认为因为我们有更好的老师，叫做人工智能，我们不知道如何保持我们的权威。
**主持人：** 使用人工智能使教育变得更好的这个想法，如果我们回到这个问题，人们在接受所有发生的事情方面差异很大。您能想象吗？目前大学教育是大众教育，但也许通过人工智能，它可以更个性化，适合个人。但通过这种个性化，基本上把人分类是有危险的。您想过这种通过人工智能个性化教育的方式吗？
**赫拉利：** 人工智能的一个巨大的积极潜力是在所有领域创造更个性化的服务，在医学、教育中。所以在教育中，是的，而不是在一个班级里有 40 个能力、兴趣、思维类型非常不同的孩子，和一个老师，他必须以某种方式在这 40 个孩子之间取得平衡，当然老师不可能独立了解每个女孩和男孩，他们来自哪里。所以取而代之的是，你可以有一个人工智能导师，只与每个孩子单独工作，了解他们的历史，是跨学科的，因为同一个人工智能导师可以教历史、化学和物理，你不需要把它们分开，它可以专门针对学生的水平定制教学方式，针对学生的思维方式。有些人更有视觉思维，所以人工智能会使用更多的视觉教学。其他人更多用词语思考，所以人工智能会使用更多词语，像这样你可以创造一种个性化教育。潜在的 downside 是，在学校和大学里，许多最重要的教学发生在课间，当学生或学生彼此见面时。我们在 COVID 期间看到了这一点，通过 Zoom 以某种方式重建课堂体验是可能的。最大的损失是课间，学生不能走出教室，坐在一起，一起午餐，讨论课堂上发生的事情或世界上发生的事情。而这是人工智能——我差点要说——无法做到的。
信息时代的风险与机遇：尤瓦尔·赫拉利演讲与访谈录（第二部分）
一、AI 复制亲密关系的危险
人工智能不仅能复制注意力，还能复制亲密关系，这是一个巨大的危险。AI 在掌握语言之后，掌握了注意力，而下一个前沿领域就是亲密关系。亲密关系比注意力更强大。如果你想改变某人的政治观点、推销产品或达成任何目的，亲密关系是最有力的工具。一位好朋友改变你观点的能力，是无数报纸文章或书籍无法比拟的。
直到今天，没有任何东西能够伪造亲密关系，尤其是无法大规模生产亲密关系。在极权体制下，你可以让所有公民打开收音机收听伟大领袖的讲话，从而大规模生产注意力，但无法大规模生产亲密关系。然而，AI 可以做到这一点。
如果新一代人在成长过程中与 AI 建立亲密关系，而不是与其他人类建立，会发生什么？我们尚不清楚，这可能有一些好处，但潜在的危险是巨大的。人们可能会依恋虚假的人，并在此过程中失去与真实人类建立亲密关系的能力。因为真实的人类比 AI 更复杂、更有问题。
一个想要成为你亲密朋友的 AI，其最大优势在于它没有自己的感受。它永远不会沮丧、愤怒或疲惫，它可以 100% 地专注于你，理解你的感受，从而制造出一种虚假的亲密感。然而，真实的人类关系中充满了感受。真正的亲密关系不仅仅是希望别人关心我，更是我也关心别人的感受。而 AI 没有感受。因此，一个人类越来越多地与 AI 建立亲密关系的社会，最终将是一个没有亲密关系的社会。
二、友好型 AI 与意识的本质
**问：** 在您看来，人类与机器人或 AI 建立亲密关系是否可能？科幻作品和漫画中常有此类故事，一些机器人科学家也希望制造友好的 AI 或家庭 AI。您如何看待这种人类与机器共存、甚至成为朋友的愿景？
**答：** 理想情况下，是的。我并不是反对 AI 或机器，它们能带来巨大的好处。我们谈到了教育，还有医疗保健。它们可以帮助我们应对气候变化。想想交通事故，如果我们拥有自动驾驶车辆，每年可能会拯救一百万人的生命。目前每年约有 120 万至 130 万人死于车祸，大多数是由人为错误造成的，比如酒后驾车。如果最终实现自动驾驶，事故会少得多。
我也支持拥有友好的机器人，人类与它们友好相处，而不是感到恐惧。问题在于，当我们谈到建立亲密关系和友谊时，我们需要正确理解其含义。人们很容易想象友谊就是有人关心我、关心我的感受和需要，有人看见我。人们终其一生都渴望被看见、被关心。但这并不是真正的亲密关系。真实的关系必须是双向的。
如果我只希望全世界都配合我的感受，而不关心他人，我就会变成一个极度自我中心和自私的人。要建立真实的关系，对方必须拥有感受，而不仅仅是模仿。我们可以与人类、动物、狗、猫建立关系。至于 AI，一个尚未解决的重大问题是：AI 是否能发展出自己的感受？
我们确知 AI 可以模仿感受，让我们以为它有感受。但它真的感觉到什么了吗？这是关于智能与意识的区别。智能是解决问题和达成目标的能力，而意识是感受事物的能力。我们知道 AI 高度智能，能解决问题，达成目标。在某些领域，如下棋，AI 比最优秀的人类更好。但当它赢棋时，它有感觉吗？输了会悲伤吗？据我们所知，它没有任何感觉。未来它能做到吗？我们不知道，因为我们不理解人类意识。
我们不知道数十亿神经元在大脑中交换电化学信号时，如何表现为爱或痛苦的感觉。我们还没有科学的理论来解释这一点。因此，我们不知道是否能在硅基大脑而非碳基大脑的基础上实现同样的事情。这是一个开放性问题。
三、日本在 AI 时代的独特贡献
**问：** 我们通常谈论 AI 监管时，会提到美国、中国和欧洲。日本在技术方面也很强大，日本能在国际舞台上扮演什么角色，使 AI 或数字化转型对社会更有益？
**答（Arisa）：** 我想谈两点。首先是国际合作。日本政府及产业组织正在积极推动 G7 AI 广岛进程。这并非硬性的法律监管框架，而是更多要求大型科技公司自我监管。日本可以扮演这一角色，因为我们不像美国那样拥有最先进的技术，也不像中国或欧洲那样处于竞争前沿，我们与各国有着一定的距离。因此，日本可以扮演调解者或解释者的角色。
在 AI 竞赛加速的背景下，许多人坚持投资 AI 并关注本国发展。但日本处于一个很好的位置来呼吁合作。日本与美国和欧洲共享民主、法治和人权等价值观，同时也与中国及东南亚国家共享亚洲文化。我们可以用共同的语言沟通，弥合 AI 竞赛中的混乱局面，作为 AI 监管框架的协调者。
第二点是创新。创新和监管是双轮驱动。我们不仅谈论监管，也谈论 AI 的治理与推广。如果只把监管看作停止技术发展，没人会跟随。我们需要思考想要什么样的技术和社会，再决定什么应被监管，什么应被创新。
在创新方面，日本的优势在于物理世界，如机器人技术。目前 AI 更多涉及算法和网络世界，但我们生活在物理世界中。日本在机器人物理安全方面传统上很强。人们对丰田、本田等品牌有信任感。此外，日本在防灾机器人等方面也有积累。将 AI 与机器人整合，连接 AI 数据与物理世界，是日本可以贡献的地方。
另外，日本可以利用创作者的数据，如漫画和动画。虽然需要考虑财产权，但这里有丰富的优质内容数据。“酷日本”战略在这方面也有优势。政府正在探索如何赋能创作者使用数据集进行学习，同时保护创作者，避免仅仅利用数据而扼杀想象力和好奇心。
**答（赫拉利）：** 我不是日本产业或社会的专家，当然基本问题对所有国家都是共同的。AI 革命是全球性的，没有国家能孤立自己，因此所有国家都有强烈动机合作，确保 AI 不脱离人类控制。
日本可能做出的独特贡献源于其文化和传统。AI 革命引发的重大哲学问题围绕非人类智能与人类意识的互动。一方面，我们拥有非人类智能，我们已经生活在一个被数百万非人类智能体包围的世界中，它们在做决策并影响我们的生活。另一方面是人类意识，这仍是宇宙中最大的谜题。
在日本传统中，神道教传统对非人类智能有很多论述，与西方宗教倾向于关注单一的大神不同。日本有数百年的传统，将世界视为被大量非人类智能体所占据，并探讨人类与这些强大的非人类智能体之间发展出何种关系。这是我们时代的关键问题。
其次是人类意识的问题。佛教传统数百年来一直在探索心是什么。我认为，这是人类历史上一个非常艰难的时刻，但也是一个非常美好的时刻。因为许多几千年来被视为抽象哲学问题、大多数人忽略的问题，现在变成了实际问题。我们没有另一千年的时间来回答关于意识、自由意志以及与非人类智能关系的问题。我们需要在五到十年内找到答案。因此，从某种意义上说，这是历史上成为哲学家或精神探索者的最佳时机，因为这些问题突然变得极其实用。
**答（Ki）：** 除了 Arisa 提到的制度和地缘政治评论外，我想给出一个充满希望的答案。日本是一个老龄化社会，三分之一的人口超过 65 岁，我几年后也会成为其中一员。正如您所说，算法主义无法真正关心他人。照顾对我来说是人类活动，涉及感受、意识、真诚的共情、善意以及对他人的信任。
日本社会相当安全、稳定，我们彼此信任。虽然全球化尚未完全深入，但我们正在全球化，同时感到社会安全稳定。我认为，真诚、信任、照顾和共情这些人类特质非常重要。我希望日本能从这方面做出贡献，不仅服务于智能，更要深入探讨照顾和共情在社会中的作用，向世界反馈我们需要人类社会的关怀与共情。
作为社会科学家，我完全同意。机器人或 AI 能做的是支持照顾者，而不是支持被照顾的人或制造关怀。这一点有时被误解。我们需要社会科学家与机器人学家的跨学科合作。
四、现场问答
**问：** 我有一位朋友开始在社交媒体上相信阴谋论，我该怎么办？应该鼓励他进行事实核查吗？
**答：** 我认为共情是关键。许多人转向阴谋论是因为他们对世界失去信任，感到孤独和被疏离。如果用各种事实与他们争论，只会让他们更深地陷入“没人关心我、没人理解我”的感觉中。如果是朋友，在亲密关系中，最重要的是让他们感到被关心，而不是陷入争论性的冲突。
**问：** 我觉得朋友们经常在社交媒体上发布类似内容以追逐点赞，在这个过程中他们失去了个性。年轻人如何在这种环境中保护自己的自我感？
**答：** 我认为不仅仅是年轻人，每个人都需要进行“信息饮食”。就像许多人关注食物饮食一样，他们关心喂给身体什么，这很重要。他们应该同样关心喂给大脑什么。适量的垃圾食品没问题，但如果不断喂身体垃圾食品，你会变得不健康。大脑也是如此。如果大脑的饮食是垃圾信息，你会有不健康的大脑。
这是个人的，我不相信一刀切的饮食，无论是食物还是信息。但主要是要对信息保持正念，理解信息是大脑的食物。如果你喂给大脑贪婪和仇恨，你会拥有什么样的大脑？这也回到了教育问题，以及彼此关怀的问题。
**问：** 您如何看待将国家预算规划或外交政策决策委托给 AI 的想法？
**答：** 这是一个非常危险的想法，至少在当前阶段是这样。外交政策和预算涉及大量伦理决策，而 AI 没有伦理感。更重要的是，它们极不可预测。我们对 AI 没有经验。我们刚刚创造出 AI，尽管它们极其智能，但它们不断自我学习和改变，因此很难预测它们会朝哪个方向发展。
对于人类，我们知道人类有各种问题，但至少我们知道这些问题。我们对人类心智的问题有数千年的经验。因此，当我们将外交政策或预算委托给人类时，事情可能会出错，但至少我们可以某种程度上预测出错的方式。当委托给 AI 时，你完全不知道会出现什么样的真正异类问题。
这是今天我们看到的普遍问题：人们越来越不信任人类，希望解决方案来自赋予 AI 权力。这极其危险。就像在金融领域，整个加密货币运动或其中很大一部分，都是关于不信任人类机构，如银行，这些机构传统上产生美元、日元等传统货币。相反，人们信任后人类货币，如比特币、以太坊等加密货币。它们实际上是后人类货币，因为你不信任人类机构，而是信任算法。
这其中有许多危险，但最大的危险是缺乏历史经验。我们对此完全没有经验。这有点像外星人来自外太空，人们说这些外星人高度智能，能解决癌症，能解决气候变化。我们会把人类的未来委托给这些外星人吗？显然不会。我们会意识到，这是一个巨大的赌博，我们对它们一无所知。AI 在某种程度上就像这些外星人。
当然，人们会说，但我们设计了 AI。我们没有设计来自外太空的外星人。我们会设计 AI 使其安全。但这误解了 AI 的含义。如果你设计某物并能预测它将做的一切，根据定义，它就不是 AI。AI 的定义就是它能自我学习和改变，因此以极不可预测的方式改变。