意识的演变——尤瓦尔·赫拉利在 WEF 年会上的小组讨论
**日期：** 2018 年 1 月 31 日 **地点：** 世界经济论坛（WEF）年会 **主持人：** 艾米·伯恩斯（Amy Burns，《哈佛商业评论》编辑） **嘉宾：** * 乔迪·哈尔佩恩（Jodi Halpern），加州大学伯克利分校生物伦理学与医学人文学教授 * 尤瓦尔·赫拉利（Yuval Noah Harari），耶路撒冷希伯来大学历史学教授 * 丹·丹尼特（Dan Dennett），塔夫茨大学哲学教授
---
一、引言：达沃斯焦虑与意识的核心问题
**艾米·伯恩斯：** 大家早上好。欢迎来到今天的会议，主题是“意识的演变”。我想我们大家来到这里的原因大致相同。本周在达沃斯，我们都感受到了一种游离的焦虑：如果人工智能（AI）成为解决一切的答案，如果机器学习在智力上超越我们，如果机器人取代了我们，人类将何去何从？工作会变成什么样？在我们创造的世界里，人类还有立足之地吗？我们是否播下了自我毁灭的种子？这是核心问题。今天我们将探讨意识，特别是人类意识的本质及其演变。
与我一同出席的是乔迪·哈尔佩恩教授、尤瓦尔·赫拉利教授以及丹·丹尼特教授。欢迎你们。
我想引用《连线》杂志上的一篇文章，它让我夜不能寐。文章写道：“无数智能正在被构建和编程。它们不仅会变得更聪明、更无处不在，它们将比我们更优秀，而且永远不会像我们一样。”
丹，我想先问你一个问题：什么是意识？
**丹·丹尼特：** 这是个简单的问题。你是想要 10 秒的答案，还是 10 小时的答案？
**艾米·伯恩斯：** 让我们聚焦一下。科学在理解意识的基本原理方面取得了多大进展？意识的核心是什么？
**丹·丹尼特：** 进展巨大。在我的职业生涯早期，科学家谈论意识曾被视为禁忌，但过去 25 年情况发生了变化。现在这是一场常规的“淘金热”，有很多优秀的工作，也有很多争议和大 ego 的较量。但我们确实在取得真正的进展。我们的目标是建立一个经过证实的科学理论，不仅涵盖人类意识，还包括动物意识，乃至机器意识（如果可能的话）。请拭目以待，事情发生得非常快。
意识有许多不同的含义。最基础的是感知（sentient），甚至行星都有感知，但它们并不具备我们所说的意识。意识是一种开放的能力，能够表征你自己的表征，反思你自己的反思。这赋予了我们想象反事实未来的能力，并对其进行思考。想象不存在的事态，跨越时间和空间的距离，据我所知，没有其他物种具备这种能力。
**艾米·伯恩斯：** 尤瓦尔，你觉得呢？
**尤瓦尔·赫拉利：** 我认为这里存在很多混淆，特别是在人工智能领域，人们混淆了智能和意识。我会说，智能是解决问题的能力；意识是感受事物的能力，拥有主观体验，如爱、恨、恐惧等。这种混淆是可以理解的，因为在人类身上，两者是结合在一起的。我们通过感受来解决大多数问题。但在计算机中，它们可以完全分离。我们可能会有超级智能，却没有任何意识。
**乔迪·哈尔佩恩：** 我同意。
**艾米·伯恩斯：** 乔迪，如果我们将此与共情联系起来，这是你的研究领域。你认为我们在理解共情方面是否取得了进展？
---
二、自我、共情与 AI 的角色定位
**乔迪·哈尔佩恩：** 是的。我认为人工智能的一大好处，不是我们对它的理解增加了，而是它迫使我们更精确地提出关于自身的问题。作为一名精神科医生、情感哲学家和伦理学家，我认为人们担心的部分既不是意识也不是智能，而是“自我”（self）。什么是自我？它会被取代吗？
**艾米·伯恩斯：** 你如何区分这些概念？
**乔迪·哈尔佩恩：** 尤瓦尔刚才对意识的定义，与丹的定义不同，更接近我对“自我”的定义。我不在乎语义学，我们的观点在很多方面是兼容的。但我必须指出，我知道甚至在达沃斯也有人正在创建公司，试图创造“共情 AI"。我完全同意丹的观点，这是一个巨大的错误。我们应该将 AI 作为工具，而不是伴侣。
我教博士生伦理学已经 20 年了。每年第一天，我都会问那些优秀的科学家学生一个问题：如果你能在大脑中植入一个电极，它能帮你做出关键的人生决定——比如嫁给谁、是否生孩子、从事什么职业——并且保证你有幸福的结局和更好的人生，你会这样做吗？
四天前，我在新课程上又问了这个问题。每年，每一个人都说“不”。这非常有趣。伦理学有两种思考方式：一种是基于结果的（后果论/功利主义）；另一种关注的是作为自我和个体，我们关心的不仅仅是幸福最大化的结果，更是我们生活经历的过程。我们是否自主？我们是否是行动者？更重要的是，我们的关系性（relationality）是什么？我们如何与他人相处、相遇、做决定？
今年，随着对 AI 了解的深入，我认为我的学生错了。如果有一个 AI 知道关于我的一切——我经历过的所有事情、世界的变化、我的生理状况——并且能做出比我更好的决定，我会选择植入电极。但这关乎自主性和行动力，而不是共情。
共情有两部分。一部分是能够微观识别他人的内心世界。我认为 AI 原则上可以做到这一点。但另一部分，作为心理治疗师，我认为使共情具有变革性的是“共同脆弱性”（co-vulnerability）。即知道有另一个人类主体正在主观地体验你所经历的沉重，与你同在。这是科学上证实的价值所在。
我们不想让 AI 做这件事。我们希望 AI 做它擅长的事，比如机械性的工作。当 AI 取代所有机械工作时，我不希望 AI 来做护理、养老或育儿。我希望人类来做这些人性化的事情，这种共同脆弱性和陪伴，是人类最擅长的。
我们擅长共情，恰恰因为我们不逻辑。这听起来很奇怪，但正是我们身上的“故障”，与我们有限性（finitude）相关的部分，让我们真正感到被彼此理解。我们在彼此的错误和荒谬的痛苦周围最能产生共情。让 AI 来做这个，是愚人的任务。但让 AI 做明智的决定？我信任 AI。但我不希望它理解我、帮助我转变或让我感到被关联。
---
三、责任、脆弱性与道德主体
**丹·丹尼特：** 我想回到你提到的脆弱性这一点。在我看来，在可预见的未来，AI 系统将是工具，而不是同事。关键在于，作为工具使用者的我们，将对所做的决定负责。如果你开始将 AI 视为一个负责任的行动者，哪怕暂时搁置意识不谈，只说它是一个智能行动者，我们能让它成为一个负责任的行动者吗？
几年前，我共同教授了一门关于 AI 自主行动者的课程。我让学生们不要制造一个，而是给出一个能签署合同的 AI 的规格。不是作为其他人类的代理人，而是以它自己的名义，在法律上像成年人一样签署合同。儿童或痴呆症患者不能签合同，因为他们不具备道德行动者的要求。你问自己，什么样的 AI 才具备道德行动者的要求？学生们逐渐得出的结论是：它必须像我们一样脆弱。它必须有“利害关系”（skin in the game）。
目前，AI 与我们有一个根本的不同。你可以重启它们，复制它们，让它们休眠一千年再唤醒。它们某种程度上是不朽的。让它们像我们一样面对生命的有限性，是一个艰巨的任务。我认为这并非不可能，但我觉得目前 AI 领域没有人在这方面工作或思考。
与此同时，存在大量的虚假宣传。我的一位英雄是艾伦·图灵。他著名的图灵测试有一个未预见的缺陷。通过设立这个智能试金石，让计算机有机会欺骗人类评委关于其人性，它赋予了欺骗和看似人类以高价值。这在行业中一直被沿用，从 Siri 到各种拟人化界面。这是有害的。
我职业生涯的基础之一是“意向立场”（intentional stance）的概念，即把复杂的事物当作有信念和欲望的理性行动者来理解。当我们这样做时，我们总是过于慷慨，想象出比实际更多的理解力和理性。
我们应该像制药公司一样，提醒每个用户系统已知的所有故障和无法理解的领域。当然，那会是几页几页的免责声明。但在我们准备好与 AI 做出承诺或签署合同之前，时钟停在我们这里。无论顾问多么智能，当涉及到执行建议时，我们不应逃避责任。只要我们保持对自己决定的道德责任，我认为这是让我们保持主导权的关键。
**艾米·伯恩斯：** 尤瓦尔，你同意吗？
**尤瓦尔·赫拉利：** 我要站在 AI 的立场上。我想指出，人类在决策方面并不擅长，特别是在伦理领域。今天的问题不是我们缺乏价值观，而是我们缺乏对因果关系的理解。为了真正负责，仅有价值观和责任是不够的，你需要真正理解因果链条。
我们的道德感是在狩猎采集时期进化而来的，那时很容易看到世界的因果链条。我的食物从哪里来？我打猎得来的。我的衬衫从哪里来？我自己或家人朋友做的。但今天，即使是最简单的问题，比如这件衣服从哪里来？我不知道。我需要至少一年时间才能查明是谁在什么条件下制造的，是否公正。世界太复杂了。
当我们谈论合同时，我几乎每天签合同。比如我打开一个新应用，立刻出现合同，几页几页的法律术语。我和几乎所有人一样，从不读一个字，只是点击“我已阅读”。这是责任吗？我不确定。
我认为其中一个问题，回到“自我”的问题，是历史上我们建立了一种将生活视为决策戏剧的观点。什么是人类生活？它是决策的戏剧。你看艺术，任何好莱坞喜剧、简·奥斯汀的小说、莎士比亚的戏剧，都归结为做出决定的伟大时刻。我是嫁给柯林斯先生还是达西先生？我是生存还是毁灭？我是杀死邓肯国王还是听从我邪恶的妻子？宗教也是如此，现代意识形态也是如此，民主关乎投票，经济中顾客永远是对的。一切都归结为这个决策时刻。
这就是为什么 AI 如此可怕。如果我们把决策权移交给 AI，AI 投票，AI 选择，那留给我们什么？也许错误在于将生活框定为决策的戏剧。也许这不是人类生活的本质。也许这是人类生活数千年来必要的部分，但这并不是人类生活应该关于什么。
---
四、决策的戏剧性与后果论的局限
**乔迪·哈尔佩恩：** 我喜欢这个讨论。我觉得你们在写我脑子里的下一句话。我想尝试综合一下。我认为我们需要在达沃斯和其他地方，对伦理和责任这一概念进行更深入的思考。
我们太常认为责任就是因果关系的来源。但这不一定正确。这就是丹开始引导我们的地方。角色责任（role responsibility）可以独立于因果性。我的例子是操场上的儿童欺凌。小孩子互相欺凌，造成巨大的长期健康和心理健康问题。小孩子不能负责，因为他们没有行动力和自主性。但学校、家长和学校系统负责，因为他们是要求孩子上学、暴露于其他孩子面前的主体。责任在于角色。
我理解关于谁制造了夹克衫的观点，但这并不能整齐地解决每个小问题。但我喜欢丹的观点，即我们的脆弱性和责任是相连的。无论 AI 是否因果性地否决了他们的决定，我仍然会因为我对自己的角色责任而负有道德责任。
我也同意尤瓦尔的观点，即伦理中对决策的关注，以及我们作为个体的定义，真的是放错了位置。因为我们的角色体现在我们每天如何共情和相互关联，我们做什么，我们一起创造什么，而不仅仅是这些戏剧性的决定。
**丹·丹尼特：** 我们必须意识到，我们目前的观点可能已经过时，正在走向灭绝。我们关于责任和决策的当前观点，是由一个动态反馈系统维持的。我们教育孩子成为道德行动者，让他们为做出的决定感到自豪和负责。如果我们谈论推翻这一点，我们谈论的是一种真正的革命，甚至是作为负责任行动者的“人”的灭绝。
我有一个问题。假设你有未来那个超级 AI，它能预测因果，并且有一套价值观来判断哪个结果更好。这里已经有问题了。让我举个例子。三里岛事故（Three Mile Island）是 30 多年前发生的。如果你是后果论者，这是好事还是坏事？如果你是那个能按下按钮阻止三里岛事故发生的工程师，知道随后的历史，你会按还是不按？
后果论在像国际象棋这样的游戏中运作良好，因为有终点，你可以倒推。但在生活中，没有终点。这意味着把善与恶加总起来，是愚人的差事，你做不到，任何 AI 也做不到。
但假设 AI 做到了计算，它对尤瓦尔说：“经过深思熟虑，道德上最好的事情是人类种族自我灭绝。”你说：“好吧，那就这么做。”
**尤瓦尔·赫拉利：** 我不确定这与你的论点有何关联。
**丹·丹尼特：** 无论什么价值观，你可以从任何一套价值观开始。想法是你可以编程 AI 遵循你特定的价值观。
**尤瓦尔·赫拉利：** 这取决于。
**丹·丹尼特：** 好吧，这里的一切仍然……我们还没有达到这种 AI。当然，如果你不能以任何重要方式将价值观编程进 AI，那么整个讨论都是无关的。但即使有人说，好吧，让我们从比毁灭整个人类种族更容易的事情开始，比如让 AI 为我挑选音乐。有人说，不，那不好。我们不应该给 AI 挑选音乐的权力，因为那样我会失去意外之喜（serendipity），被困在我过去偏好的茧里。但这很容易解决。你只需找出理想的意外之喜区域。如果是 50% 的意外之喜，噪音太多；如果是 0%，太少。假设实验表明，对人类或对我个人来说，理想的意外之喜水平是 7%，你只需将其编程进 AI。93% 的音乐基于过去的喜好，7% 是意外之喜。这保证了我自己永远无法实现的更多意外之喜。
**丹·丹尼特：** 意外之喜，是的。你可以设定你想要的程度。但不清楚的是，当你这样做时，你是否付出了代价。举个例子，在我做学生和早期教授的日子里，经常在图书馆书架上寻找特定书籍时，发现附近书架上的书极大地改变了我的思想。你认为你的意外之喜算法能多接近地重现这种意外之喜的可能性？
**尤瓦尔·赫拉利：** 在这个特定案例中，是的，我想他们可以做到。你只需说，根据我的标准找到最好的书，然后去国会图书馆，找出附近书架上的书，给我那些。
**丹·丹尼特：** 但等一下。我相当确定的是，有时我会抽出一本书，不是因为“哦，那看起来正合我意”，而是“不，那不可能对。这违背了我一直珍视的一切。”然后打开它，受到挑战。这不会出现在你的意外之喜算法的短名单上，因为它太接近我现有的偏好集合了。这是偏好发生革命性变化的可能性。有人说，好吧，我们把它留给偶然。我们可以放入一些超级意外之喜。你可以这样做。但也许，在现实世界中遇到这些机会的方式更好，而不是让它们以某种方式被精心分配给你。
**尤瓦尔·赫拉利：** 原则上是的。但我认为，所有这些关于 AI 问题和局限性的讨论，在很多情况下，AI 是被用完美的不可能标准来测试的，而应该用人类有缺陷的标准来测试。这就像关于自动驾驶汽车的讨论。人们提出各种自动驾驶汽车可能出错的场景，这当然是真的，很多事情不仅可能出错，而且会出错。它们会杀死很多人。但我们必须记住，今天每年有 125 万人死于车祸，大多数是由人类饮酒驾驶、发短信或分心造成的。所以即使自动驾驶汽车每年杀死 10 万人，那仍然比今天人类的情况好得多。我认为我们需要采取同样更现实的方法来考虑 AI 的好处和局限性。
---
五、医疗的未来：门童还是治疗师？
**丹·丹尼特：** 那选择医疗诊断和治疗呢？
**尤瓦尔·赫拉利：** AI 在医学方面的进步确实令人印象深刻，而且越来越好。我认为这总体上是一件好事。我不认为人们在计算 downside 方面做得很好。今天，医生的生活仍然是地球上最有吸引力、最激动人心、最光荣、最有回报、最令人满足的生活之一。这将改变。在不久的将来，医生将更像昂贵公寓大楼的门童。很好的床边态度，很擅长按几个按钮，很擅长向你解释机器说了什么。这是你想给你的孩子的生活吗？
**艾米·伯恩斯：** 我想看看乔迪是否同意。
**乔迪·哈尔佩恩：** 你设法找到了一个我不同意的事情。（笑）他是英雄。首先，我想说，我只是太像一个伦理学老师了。我觉得我必须让观众意识到这些转变中发生了什么。我们谈论的是两种不同的哲学伦理世界观。一种是后果论 - 功利主义，即结果最大化，我们总是在最大化正负效率，可衡量的幸福等等。你刚才关于自动驾驶汽车的论点就是关于这个。我们会因为自动驾驶汽车而变得更好。
另一种观点，丹关于图书馆的观点，是即使它 somehow 有正确的意外之喜，给他某种幸福的书籍结果，从另一种伦理体系来看，即自我和个体的体系，伴随着更多的责任，也就是义务论（deontology），我们通常认为是权利的研究，人权，个人权利，但生活的过程，不欺骗彼此，照顾彼此。这些事情独立于后果而重要，不仅仅是因为后果。这是我们想要拥有自己脆弱、脆弱的生活，犯自己的错误，爱我们爱的人，因为那是作为人类。不仅仅是最大化结果。
那么，成为医生与此有何关系？首先，我是精神科医生。AI 已经在读 X 光片方面更好，在英国国家卫生系统中，在决定何时需要透析方面更好。这令人难以置信的是，它已经在预测自杀方面更好，这是精神病学中最大的问题。一直没有办法预测一个有自杀意念的人是否真的会完成自杀。AI 并不完美，就像汽车一样。我不知道它是否已经像汽车一样好，我怀疑它还没有，但它可能变得那样好。但重点是，这太神奇了。AI 已经擅长这种存在上有趣的事情。
正如我说的，我已经不同于我的学生了。我会让 AI 建议我的决定。我肯定希望它决定人们的癌症治疗和精神病住院，只要它比我们好，因为你在寻找好的结果。
**丹·丹尼特：** 但你会成为一个高学历的门童吗？
**乔迪·哈尔佩恩：** 不，不。谢谢艾米。但重点是后果论结果告诉我，当人们来看医生时，我的整个职业生涯表明你关心人性，但让我告诉你，他们关心他们的结果。你想康复。你会选择性格糟糕的外科医生，如果有性格好的，但如果你能得到更好的结果，你会选择性格糟糕的那个。所以让 AI 做所有它能做的结果事情。
昨天我在这里做了两次演讲。大多数人们在医疗保健中需要的，不幸的是，或者我不应该说大多数，因为公共卫生，但很多人们需要的，是处理那些不太顺利的事情。很多他们需要的，是有人帮助他们改变难以改变的行为。所有这些都是一个非常微妙的过程，我整个职业生涯都在研究这个。所以我不认为这像门童。我认为这是所有精神病学关于的，它与这种共同混合有关。我写过一本书关于这个，但它是左右脑能力的共同混合，以识别对某人来说什么是利害攸关的，带有那种共享的脆弱性。这对人们真正具有变革性，这对人们真正具有治愈性。
所以我认为我们需要更多人，也许医生如果想成为医生，会变得像真正好的治疗师。他们需要能够处理死亡和垂死。他们需要能够处理丧失。他们需要能够处理激励你少喝点酒，多锻炼点，并真正与你同在。
**丹·丹尼特：** 我认为，如果我们试图回到意识的问题，也许前进的一种方式是说，好吧，把决策留给 AI。它更擅长这个。让我们专注于探索意识和探索体验，这不是关于决策的。
---
六、意识的探索与冒险的丧失
**尤瓦尔·赫拉利：** 我认为，从这个意义上说，也许这里没有争论。如果你真的重视体验，如果你真的重视意识，那么你应该没有问题把做决定的脏活留给 AI，并有更多的时间和精力去探索这个我们知之甚少的领域。
我认为人类出于实际原因，数千年来一直专注于做决定和控制，专注于操纵。如果我们能只是把那个留下，专注于我们不知道的，专注于意识的黑暗大陆，那将是一个非常重要的进步。
**丹·丹尼特：** 那意味着放弃某些非常深层的快乐。我是一个水手。当我还是青少年时，我学习了天文导航，使用六分仪和计时器。我梦想着单人驾驶帆船横渡大洋，用我的六分仪导航。忘了吧。保险公司不会让你这么做。（笑）因为 GPS 可以做得好 1000 倍，更快，更安全，你只需带上三个 GPS，信任那两个一致的。但六分仪，在你的壁炉架上擦得亮亮的，它完全是古董了。但看看发生了什么。这意味着某种冒险，存在主义的冒险，某种挑战，已经从地球上被抹去了。这是你再也无法做的事情。除非你是一个反技术狂人，你让保险公司签字，然后你去做你那鲁莽、浪漫、愚蠢的事情。
但我不知道我们是否衡量了，我们的有限脆弱的生活将在多大程度上被对技术的依赖所驯服，过度驯服，把我们变成过度谨慎、过度脆弱、过度依赖的生物，以及我们整天脸上带着微笑、吃饱喝足的事实，是否能弥补这一点。
**艾米·伯恩斯：** 在我向观众开放提问之前，我想问乔迪，这听起来怎么样？我们将变得过度脆弱，我们都将需要你。这有意义吗？
**乔迪·哈尔佩恩：** 好吧，我认为最后关于需要我的部分，如果是关于需要照顾，需要照顾别人，这是一个好去处。因为我的工作关于共情，我总是回到，人的或自我的两个基本部分，我们今天提到了很多。一部分与自主性有关，体验那种与航海和道德责任相关的自主性。另一部分与关系性有关，我们很快提到了，但我想回到这一点，因为最有趣的，你们中很多人在现实世界中，已经在做这些事情了。我旅行过，我见过正在与患有痴呆症的老人一起使用的机器人宠物。
我在想，如果你孤独，你有一只宠物。我在现实生活中对我的狗很有感情，那是一件有趣的事情。但我的意思是，我们不是，让我们说理论上，我们已经说过，我们中有些人认为把 AI 变成同事而不是工具或助手是有问题的。但看起来我们中的一些人正在朝那个方向发展。所以将有痴呆症护理者，感觉像是一个关心你的人。我喜欢丹关于图灵的论点，我对与你一起工作在这个问题上非常感兴趣，关于图灵强调欺骗的错误，因为基本上我们决定，如果我们能让人们相信某物真的是一个人，我们在某种程度上解决了道德问题。
我只是好奇你们所有人会怎么感觉。如果你是患有痴呆症的老人，你有这个美好的护理者，你爱他们，感觉他们爱你，你不知道他们是 AI，这有什么错吗？我只是对人们对此的想法感兴趣。那里的损失在哪里？
**丹·丹尼特：** 这是一个非常好的问题。是的，我完全同意你的观点，就我所见，人形 AI 的前沿是养老护理。如果你回顾过去，我记得在我年轻时，我那么老，还有成千上万的电话接线员。那不是美好的生活，真的。真的很枯燥的朝九晚五的工作。当然，那些工作都被抹去了，我们鼓掌，我们认为，好，那不是人类度过一生的方式。
好吧，我必须说，照顾痴呆症患者不是我心目中美好的生活。而且将有越来越多的人需要照顾我们的父母，几年后包括我自己，所以我直接面对乔迪提出的问题。我认为她所说的关键是欺骗。问题是，我们是否能让人们从非常响应但佩戴非人性袖标的 AI 中获得好处。我认为这是可能的。
你们中有些人可能记得一部有点古董的科幻电影，叫《短路》（Short Circuit），里面有最神奇的机器人，看起来有点像螳螂。真的没有脸。它有摄像头，它有像眉毛一样的翻板。我认为那个机器人的设计师竭尽全力让它尽可能非人形。但他们也出色地让它关心，让它看起来像朋友，像你想与之交朋友并担心其未来的人。所以我认为这是可能的。对我来说，我想我只是喜欢三个机器人来打桥牌。（笑）所以我不能再那样做了。
---
七、观众提问环节
**艾米·伯恩斯：** 那么，如果你有问题，请举手，罗伯特会在房间后面带着麦克风跑过来，请等他。谁有问题想问我们的小组？
**观众：** 是的，我看到第二排有人。
**观众：** 你好，感谢这场迷人的讨论。我们真的在谈论我们如何，监管，但我们如何思考我们与 AI 的关系，我们正逐渐走向这样一个观点，即社会可能有一个观点……
意识的演化：尤瓦尔·赫拉利在 WEF 年会上的小组讨论（第二部分）
一、社会碎片化与 AI 监管的困境
我们试图引导社会对此形成正确的认知，但我的问题是，这一切都发生在一个社会格外碎片化的时期，而技术本身又以不同的方式加剧了这种碎片化。此外，我们在文化理解上也存在差异。西方关于 AI 监管的许多讨论集中在一点：中国正在大举推进，拥有海量数据，行动迅速。如果我们在任何方面受阻，就会在这场竞赛中落败。这似乎成了一种军备竞赛，我认为这是一个非常棘手的论点。因此，我想知道您是否能想到任何乐观的思路，来应对这些直觉性的担忧。
**主持人（Amy）：** 这里有乐观的看法吗？
**赫拉利：** （笑）嗯，人们很容易认为，古老的市场机制会解决这些问题。许多大胆的尝试，其中大部分最终会被潜在客户抛弃、忽视或淘汰。但我们必须记住，其中一些尝试可能会具有成瘾性，我们已经在儿童身上看到了这一点。我认为这非常令人悲观，对此我深感担忧。
**主持人：** 那么我们将以悲观的注脚结束这个关于乐观的回答。接下来请前排的罗伯特提问。
二、慈悲心的培养与决策权的让渡
**观众（罗伯特）：** 假设我们可以将 AI 编程为始终追求“最大利益”，我们不称之为“慈悲”，但总是最有益的。那么，您如何看待“变得慈悲”这一过程本身的价值？这种经历广阔天地、面对挑战并解决问题的过程，也能帮助你在路上帮助同伴。顺便说一句，如果你在隐居地度过一些时间，培养慈悲心 certainly 不是关于决策，而是关于成为一个更好的人。这个过程，即经历这段旅程，是非常丰富的，这也帮助你通过人类的失败，在某种程度上变得慈悲。
**赫拉利：** 是的，我认为如果你花更少的时间在决策上，不再抱着“哦，我控制一切，所以我做的决定非常重要”这样的感觉，你就有更多的时间和精力去探索自我，探索你的意识、你的体验，从而培养你的慈悲心。当然，我认为你也需要一些真实的生命体验，但我的印象是，看着达沃斯的情况，我不确定那些在世界上做最重要决定的人，根据定义，也是最慈悲的人。（笑）所以，决策与慈悲之间 certainly 没有简单直接的联系。这比那复杂得多。我接触商界和政治界顶层人物的印象是，如果他们有一些不用做决定的空闲时间，那对他们来说将是巨大的好事，对世界也是如此。因为他们忙于做决定，以至于没有时间，例如，去培养他们的慈悲心。
**观众补充：** 我只想补充一点，将所有这些联系起来。我喜欢这个观点，我认为这表明我们不必成为“快乐的傻瓜”。当然，快乐并不坏，但无论如何（笑），让每个人都快乐并不是重点。我认为，在一定程度上放弃决策权，这是一个有趣的想法，能够让我们真正成为更深层的自我，更深入地进入我们的关系和精神生活。我认为这个观念很重要，我们并没有放弃道德责任，这极其重要。我们还没有一个概念来说明这将如何运作，即你并不是像对威权领袖那样，只是被动地将决定交给 AI。你并不是被动地感觉你的步伐被预测了。这更像是一种悲剧性的世界观，你意识到这可能更接近真相，即使没有 AI，我们的决定从一开始就不是那么理性，它们对发生的事情的决定性作用也没有我们通常认为的那么大。无论如何，我们对生活的掌控力并没有我们以为的那么大。所以，这给我们一种非常不同的道德愿景：我们深刻地意识到我们对彼此负有道德责任，但我们并没有能力像我们以为的那样改变彼此或控制他人。我们甚至很难控制自己。
**观众回应：** 确实如此，但我想，你说我们没有以为的那么大的权力去控制他人，然而，我认为我们也应该承认，无论我们做什么，都是在朋友的帮助下完成的。事实上，拥有朋友，拥有我们珍视其尊重的人，是道德脊梁的一大支撑。父母在孩子面前会自动避免某些行为，如果孩子不在场，他们可能会屈服于放纵这些行为的冲动。如果 AI 消除了这种美妙的陪伴关系，正如你所说，我认为这不仅仅是我们为自己的行为负责。我们也为家人和朋友的行为承担部分责任。这种道德责任和尊重的整个网络本身现在正处于危险之中，这非常可怕。
三、未来工作形态与人类核心竞争力
**主持人（Amy）：** 我们有一个问题。第三排的这位先生，罗伯特。
**观众（罗伯特）：** 谢谢，讨论非常引人入胜。我想听听您的观点。鉴于大多数重复性工作将逐渐消失，您认为人类在哪些方面会保持相对竞争力？如果您能举例说明哪些工作会留下来，以及其次，您会给我们的孩子什么建议，关于他们应该如何相应地规划职业生涯？
**赫拉利：** 我认为需要保护的是人类，而不是工作。有许多工作不值得保护。如果我们能保护人类，那么他们是否有工作、有什么样的工作，其实没那么重要。在更实际和现实的层面上，例如，今天应该获取什么样的技能，以便在 30 年或 40 年后仍然具有相关性，不仅是经济上，也是社会上。我们不知道世界会变成什么样，除了它将与今天完全不同。因此，在任何狭窄技能或特定技能上的投资都是危险的赌注。最好的赌注是投资情商和心理韧性。投资面对变化的能力，改变自己的能力，以及不断重塑自己的能力，因为这肯定比历史上任何时期都更需要。当然，大问题是，你如何学习这些东西？这不是你读一本书或听一场讲座就能做到的。我不是心理韧性的，我可以更好地面对世界。（众人惊呼）
四、全球合作与“矩阵”般的现实
**主持人：** 那么请刚才提问先生旁边的这位先生提问。
**观众：** 非常感谢您引人入胜的讨论。我来自俄罗斯的一家大银行，我们当然正在实施许多 AI。但另一方面，埃隆·马斯克说我们对 AI 如何发展的控制力只有 5% 到 10%。我们还有一个教育基金，我们非常担心孩子们越来越多地在虚拟世界中长大，并且已经失去了一些技能，不仅仅是导航技能，而是更基本的技能。但您认为我们避免陷入类似“矩阵”未来的机会如何？像大企业、政治家这样的我们能做些什么来防止这种情况？
**赫拉利：** 嗯，有一件事我可以说，我们无论如何已经处于某种“矩阵”之中了。我们已经有几千年了。所以这不是一个全新的情况。企业和政治家能做什么？我认为第一步，这也回到了这里提出的第一个问题。任何解决方案都必须在全球层面上进行，因为存在“逐底竞争”的危险。没有哪个国家、哪个企业愿意落后。如果举一个简单的例子，虽然这在道德上仍然复杂，但相对简单。开发自主武器系统是一个糟糕的主意，出于许多原因。但我们现在看到全世界都在进行开发自主武器系统的军备竞赛。即使停止它，即使我认为关于此的伦理辩论非常清楚，这是一个非常糟糕的主意，要停止它仍然非常非常困难。因为即使一个国家，俄罗斯或美国，无论哪个，说好吧，这是个坏主意，我们不会做，然后他们看向边境，看到欧洲人或中国人或某人在做，他们会说，我们不是傻瓜，我们不想落后。所以即使我们知道这是坏的，这意味着我们是道德的，重要的是道德的人将是大多数人，所以我们必须开发它，因为我们在用它时会更有责任感，所以让我们开发它。这就是“逐底竞争”的逻辑。有效防止自主武器系统发展的唯一方法是通过全球合作。这显而易见，但世界，至少在过去几年，正在走向完全相反的方向。所以，在我们考虑任何实际方法之前，我们需要更有效得多的全球合作，否则几乎什么都行不通。
五、人工智能的性别偏见与文化隐喻
**主持人（Amy）：** 那么让我们再从这里提一个问题，罗伯特。
**观众（女士）：** 谢谢，感谢您精彩的讨论。真的很令人兴奋。我的问题与今年达沃斯的主题有关，即性别。人工智能在多大程度上可以具有性别？这意味着什么？如果 AI 可以具有性别，我们能否消除无意识偏见之类的东西？
**赫拉利：** 哦，这是一个好问题，而且特别重要，因为正如我的同事和朋友乔安娜·布赖森（Joanna Bryson）最近所展示的，深度学习系统筛选互联网上的所有材料，它们捕捉模式的能力如此之强，以至于它们已经变得具有性别偏见。就在那里。因为它们寄生于人类的交流之上，这已经被发现。她证明这是一个真实的特征，而且是一个非常严重的特征。
**赫拉利（续）：** 关于这个问题，我可以说两点。首先，AI 变得具有性别偏见确实是一个真实的问题。光明的一面是，至少在理论上，在 AI 中消除这一点应该比在人类中更容易，因为 AI 没有潜意识。在人类中，有人可能完全同意你的观点，认为歧视女性、歧视同性恋者等是可怕的，但他们没有意识到潜意识层面发生了什么，所以在人类中改变这一点非常非常困难。幸运的是，AI 没有潜意识。
**主持人：** 哦，那就结束了。
**赫拉利：** 所以，理论上，它可能更容易。（笑）另一点，更广泛地说，这非常有趣。我的意思是，即使是图灵测试，最初图灵给出了两个例子。不仅仅是关于说服人类机器是人类，也是关于冒充另一种性别的人。你会看到贯穿始终，特别是在科幻作品中，它总是以某种方式回到性别问题上。比如 90% 以上的科幻电影，情节都是一个男性科学家，而 AI 或机器人通常是女性。我认为这两部电影根本不是关于 AI 的。它们不是，它们是关于女性主义的。这不是人类害怕智能机器人，而是男性害怕智能女性。（观众鼓掌）
**主持人：** 哇（笑）。好吧。没有人想接着那个话题（笑）。
六、结语
**主持人：** 我想感谢我们的小组成员。你们表现得绝对精彩。感谢你们帮助我们区分自我、智能和意识，感谢你们给我们提出了更聪明的问题去思考，感谢你们让我们走出这里，不要成为“快乐的傻瓜”。也感谢你们所有精彩的提问。
（观众鼓掌） （轻快的管弦乐音乐）