人工智能时代的人类尊严
一、从《21 Lessons》到《Nexus》：研究重心的转移
尤瓦尔·赫拉利首先感谢了庆应义塾大学的邀请。主持人回顾道，大约六年前，赫拉利在《21 Lessons》中指出了三大全球性威胁：核战争、不受约束的生物技术 advancement（包括影响人类自身的基因组编辑），以及信息网络与人工智能的 unchecked 发展。然而，在其新作《Nexus》中，赫拉利将焦点集中在了信息网络上。
赫拉利解释了这一转变的原因。首先，相较于生物技术，人工智能的发展速度要快得多。生物学层面的改变极其缓慢——如果对人类婴儿的基因组进行修改，需要等待二三十年甚至四十年，才能观察新遗传物质对人类行为、智力和心理的长期影响。相比之下，数字进化可能仅需数天，其速度比有机进化快数百万倍。因此，尽管生物技术同样蕴含着巨大的危险与机遇，人工智能的变革速度使其成为当下更为紧迫的议题。
至于核战争威胁，赫拉利指出其特殊性在于：核战争毫无益处，因此没有真正的支持者。尽管在当前国际秩序面临挑战的背景下，核战争的威胁依然巨大，但人类对其危险性的认知是清晰的。自广岛和长崎的原子弹爆炸以来，人们无需冗长解释便能理解核技术的毁灭性后果。
人工智能则构成了一种截然不同的威胁。其核心问题不在于AI具有恶意——AI本身并不邪恶——而在于其"异质性"。这是一种可能在诸多方面超越人类的超级智能，但它并非人类，也非有机生命体。赫拉利以飞机与鸟类的飞行类比指出，期待AI达到"人类水平智能"如同期待飞机达到"鸟类水平飞行"一样荒谬，因为两者本质不同。AI终将超越人类智能，但这种智能在本质上是异质的，因此极难预测其发展轨迹与后果。
更为关键的是，AI并非工具，而是**主体（agent）**。这是人类历史上创造出的第一种具备自主决策能力的技术。原子弹或核反应堆只是工具，其使用方式由人类决定，反应堆本身无法做出任何决策，更无法发明下一代反应堆。而AI无需人类干预即可自主决策：AI武器无需人类指令即可自主决定轰炸目标，甚至能够发明新武器与新军事策略。AI同时拥有巨大的正面潜力（如发明新药、癌症疗法）与负面潜力。正是基于这一判断，赫拉利决定在《Nexus》中聚焦信息技术的演化史，因为这正是人类当下面临的最大挑战——数千年来，人类首次在智能与创新能力方面面临来自地球内部事物的竞争。
二、十年思考的演变：从哲学推测到生存危机
主持人问及赫拉利从一位中世纪军事史学家转变为信息网络研究者的心路历程，以及其思想自2015年出版《未来简史》（*Homo Deus*）以来的变化。
赫拉利回忆道，十年前撰写《未来简史》时，极少有人谈论AI。尽管计算机科学系、谷歌和微软等领先企业的高管，以及尼克·博斯特罗姆（Nick Bostrom）等哲学家（其于2014年出版《超级智能》）已有所警觉，但当时普遍认为通用人工智能（AGI）的实现仍需数百年时间，属于缺乏 immediate practical implications 的哲学思辨。
然而，十年后的今天，AI已无处不在，发展速度令人震惊。赫拉利坦言，他曾认为雷·库兹韦尔（Ray Kurzweil）提出的"2029年实现AGI"是夸大其词，但如今库兹韦尔反而被视为较为保守的预测者。美国与中国的企业研发人员普遍预测AGI将在一年至五年内出现。发展速度被 dramatically 加速。
更令人担忧的是，全球就AI监管达成共识的希望已变得极其天真，尤其是自上次美国总统选举以来。赫拉利认为，就AI发展风险管控达成全球协议的可能性已经消失。
三、AI革命的信任悖论
赫拉利揭示了AI革命核心的一个巨大悖论——**信任悖论**。当他与OpenAI、微软、腾讯、百度等公司的领导者，以及各国政要交谈时，总会提出两个问题。
第一个问题：为何进展如此之快？尽管他们承认AI风险巨大，甚至可能导致人类灭绝，也理解人类需要时间适应，但他们表示无法减速。因为若己方减速而竞争对手或他国继续加速，后者将赢得 race，而最 ruthless 的行为者将凭借AI技术主宰世界。正因无法信任其他人类，他们必须加速发展。
第二个问题：你们能否信任正在开发的超级智能AI？令人震惊的是，这些一分钟前还表示无法信任其他人类的人，此刻却变得对AI极度信任，声称能够信任AI。赫拉利指出，这近乎疯狂。人类拥有数千年的经验来理解同类——了解其心理、动机、对权力的渴望，以及制衡权力的机制。从十万年前人类只能信任数十人的小群体，到如今日本这样数亿人组成的国家，再到连接全球80亿人的贸易网络，人类已学会在漫长历史中构建信任机制。然而，对于超级智能AI，人类毫无经验，完全不知道它们可能发展出何种目标与策略，更无法预见数百万超级AI相互之间以及与人类互动时会发生什么。
赫拉利将AI比作一场席卷全球的移民浪潮。当今民粹主义政党对外来移民充满恐惧，担忧其夺走工作、改变文化。而AI是数百万"异质移民"的浪潮，它们不仅可能取代人类工作，还可能拥有截然不同的社会治理理念，甚至接管国家。这种威胁理应比人类移民更令人恐惧。
因此，最大的问题在于：在开发出超级智能AI之前，人类能否先建立彼此之间的信任？
四、虚假的精英与民众对立
针对主持人提出的社会分裂与精英-民众对立问题，赫拉利指出，这种划分是一种虚假的二分法。以埃隆·马斯克和唐纳德·特朗普为例，这些世界上最富有的人、正在主导美国政府的人物，却声称自己不是"精英"。
赫拉利认为，"精英"一词已被污名化，成为攻击政治对手的工具。事实上，任何人类群体都存在精英——即便是足球俱乐部，也总有更具天赋、权力或影响力的人。问题不在于精英的存在，而在于精英是**服务型精英**还是**利己型精英**。如果少数人利用权力仅为自身谋利，这是最糟糕的局面；理想状态是，拥有更多才能与影响力的人将其用于造福全社会。
那种"建立无精英社会"的幻想从未成功，最大的实验——共产主义——以悲剧告终。朝鲜或许是一个没有多元精英的社会，但那并非值得追求的目标。对于大学而言，其使命不是摧毁精英或消除群体壁垒，而是培养服务型精英：让在特定领域拥有才能与影响力的人，将其能力用于公共利益。
五、信息时代的认知危机与教育使命
赫拉利进一步讨论了网络空间与物理空间的割裂。在信息过载的时代，年轻一代越来越难以阅读《Nexus》这样的大部头著作并进行深度思考。主持人询问教育机构应如何应对。
赫拉利指出，以往教育机构的核心任务是提供信息，因为信息稀缺。如今情况完全相反：人们不再需要更多信息，而是被海量信息淹没。关键问题在于，**信息不等于真理**。真理只是信息中极为罕见的一个子集，绝大多数信息是垃圾、虚构、幻想、谎言与宣传。
真理之所以稀有，原因有三：首先，真理昂贵——撰写真实记录需要研究、分析、事实核查，耗费时间、精力和金钱；而虚构极其廉价，只需随心所欲地书写。其次，真理往往复杂，因为现实本身复杂；而虚构通常追求简单叙事，可以随心所欲地简化。第三，真理常常令人痛苦——无论是个人层面（如心理治疗所面对的创伤记忆）还是国家层面（不愿承认历史中的痛苦篇章），而虚构可以做得尽可能悦耳动听。
在这场竞争中，廉价、简单、诱人的虚构终将获胜，世界正被海量虚构淹没。因此，大学、新闻机构等的社会责任不是提供更多信息，而是提供一种**方法**，帮助人们在信息的海洋中发现真理的宝石，并学会辨别真伪。
作为历史学家，赫拉利在课堂上主要教授的并非具体历史事实（学生可以轻易谷歌到），而是**如何区分可靠与不可靠的历史资料**——无论是今天的互联网视频，还是一千年前的文献，因为谎言古已有之。这一原则适用于所有学科：关键不在于获取更多信息，而在于如何辨别可靠与不可靠的信息。
六、重建人类信任：跨学科的时代使命
主持人提到，赫拉利在《Nexus》中表达了尽管阅读过程伴随复杂情绪，但依然抱有希望——因为人类具有自我纠正与团结合作的能力。庆应义塾大学已成立了"尊严中心"（Cross Dignity Center），汇聚人文学者与社会科学研究者共同应对这一挑战。
赫拉利表示，若在该中心担任研究员，其研究主题将是**如何建立人类之间的信任**。他认为，当前世界最大的危险并非AI本身，而是人类之间的不信任。如果人类能够彼此信任与合作，我们仍能找到安全发展AI的方法；正是人类之间的不信任，使得AI革命变得如此危险。
至于研究方法，赫拉利强调必须采取跨学科路径。理解信任需要生物学与心理学的输入——毕竟人类仍是动物，可以从黑猩猩如何建立或失败于建立信任中获得启示；需要经济学的视角；更需要计算机科学的参与，因为当今所有社会系统都基于信息技术。过去二三十年行之有效的信任构建机制，如今因人类通过计算机通信而变得过时。关于过去一二十年人类信任崩塌的原因，存在巨大争议：尽管人类整体处于历史上最好的境况（儿童死亡率、疾病、饥荒等指标持续下降），人们却愈发愤怒与沮丧，无法彼此沟通。原因在于新技术介入了人际沟通——如今大多数人类交流由非人类主体（算法）中介，从而制造了混乱。
要重建信任，不能简单地抛弃智能手机与计算机，而必须学会在信息技术中介的条件下，重新构建大规模人群之间的信任。
七、写作使命与传播困境
主持人称赞《Nexus》极具可读性，与学术写作截然不同。赫拉利确认这是刻意的选择。他将自己的角色视为搭建桥梁：将学术界的最新理论、模型与发现，转化为高中生或任何非专业人士都能理解的语言。他自己从未学习过计算机科学，也不希望书中充满图表与公式，而是希望用简单的语言解释AI革命与信息技术的演化史。
至于这些思想能否有效渗透到网络空间，赫拉利表示难以评估。十年前，他与丈夫建立了社会影响公司，由他负责写作，丈夫负责商业运营，团队拥有约二十人，包括在东京负责社交媒体账号的成员，试图将书籍思想转化为更多媒体形式以触达更广泛受众。然而，效果如何仍未知。赫拉利强调，每个人都有自己的微小 agency，只要足够多的人在各自领域尽力而为，人类就能渡过难关。
八、国际秩序崩塌与AI监管的终结
针对当前国际形势，尤其是特朗普政府上台后的全球发展，赫拉利表达了深切担忧。他指出，二战后建立的国际秩序正加速崩塌。该秩序最重要的规则是：强国不得随意入侵并征服弱国。这一规则打破了数千年来"强国征服邻国、建立帝国"的历史常态，使人类在21世纪初享受了历史上最和平繁荣的时期。
赫拉利以政府预算为例：历史上，各国国王、将军与皇帝超过50%的预算用于军事；而在21世纪初，全球平均军费开支降至约6%至7%，医疗开支约10%，这是人类历史上首次全球政府医疗开支超过军费。然而，随着俄罗斯入侵乌克兰及其他事态发展，这一趋势正在逆转，国防预算飙升，将挤占医疗与教育经费。特朗普政府更是雪上加霜——特朗普将乌克兰战争的责任归咎于乌克兰，其世界观是"弱者应当服从强者，若弱者反抗，冲突责任在弱者"。他威胁吞并格陵兰岛，并认为丹麦若拒绝便应承担战争责任。这种逻辑将把人类拖回永恒的战争状态。
在此背景下，AI监管的希望将彻底破灭——每个国家都会宣称必须赢得AI race，不愿采取任何可能减速的措施。然而，赫拉利仍强调，只要尚未到达那个节点，希望就依然存在。如果足够多的人在未来数月与数年做出正确选择，人类仍能安然无恙。
九、学生问答：共同叙事的危机与重建
在问答环节，有学生指出，AI通过算法加剧了人类社会的分裂，而《Sapiens》中强调的 Homo sapiens 依靠共享虚构叙事实现大规模合作的能力正面临危机。学生询问，这些共同叙事在未来将扮演何种角色。
赫拉利回应道，人类最特殊的能力正是通过共享故事（无论是关于神灵、宗教，还是经济制度）组织起数千、数百万乃至数十亿人的大规模合作。其中最为成功的故事是**金钱**——它是唯一一个几乎所有人都相信的故事。即便在美国，共和党与民主党在其他问题上无法达成一致，却都接受美元。
然而，这一体系正面临加密货币的威胁。比特币、以太坊等是"后人类货币"，由算法而非人类机构产生。当人们说"我不信任美元，我信任比特币"时，他们实际表达的是"我不信任人类，我信任算法"。同样的转变正在 bureaucracy 中发生：埃隆·马斯克与唐纳德·特朗普解雇了数十万人类官僚，却并非反对官僚体系本身，而是用数字官僚、算法取而代之。这是权力从人类向算法的转移。
在叙事领域，社交媒体取代了传统编辑。过去，报纸与电视台的人类编辑决定哪些故事占据头版；如今，TikTok、Facebook 和 Twitter 的编辑是算法。故事由非人类智能生产与传播。
赫拉利提出，各国政府应采取的第一项也是最简单的措施是：**立法禁止伪造人类**。正如法律禁止伪造货币，也应禁止机器人与算法冒充人类。目前TikTok与Twitter等平台上大量流量来自假装成人类的机器人。法律应规定，AI可以与我们交流，但必须表明自身AI身份；若平台纵容伪造人类，其所有者应承担刑事责任，如同伪造货币的印刷厂主一样。
十、学生问答：言论自由与信息自由的边界
另一位学生询问，在虚假信息泛滥的当下，如何区分需要纠正的虚构（如假新闻）与维持社会稳定的虚构（如国家叙事）。
赫拉利强调必须区分**言论自由**与**信息自由**。言论自由是**人类**的基本权利，应受到保护——人类（除极端情况外）不应因表达观点而受惩罚。然而，信息自由是截然不同的新权利，赋予对象是AI、算法与机器人，而非人类。
社交媒体巨头故意混淆这两项权利。问题不在于人类编造谎言——人类数千年来一直在撒谎，且除极端情况外不应因此受罚。问题在于算法被设计为故意传播谎言与仇恨，并从中获利。这应当被禁止与惩罚。例如，若YouTube用户制作假新闻视频，用户本人不应受罚；但若平台公司故意推荐并播放充满仇恨的阴谋论以获取流量收益，则应受到惩罚。这不受言论自由保护，因为行为主体是算法，而算法没有权利。
十一、学生问答：AI时代的战争形态
最后一位学生提问：传统国家资产是自然资源等有形资产，而信息时代出现了无形资产与网络战。然而，俄乌战争与巴以冲突依然表现为残酷的物理杀戮。即便未来出现高度智能的AI，只要人类彼此仇恨，残酷的物理战争是否仍将持续？
赫拉利肯定了这一观察。他指出，信息技术的发展并未废除物理世界，而是在其之上叠加了一层新的信息层。数千年来，人类创造的法律、宗教、金钱等信息结构从未取代或废除物理与生物现实——人类依然拥有身体，需要食物与清洁水源。然而，这层额外的故事结构改变了人类获取食物的方式：十万年前人们需亲自狩猎采集，如今几乎所有人都依赖全球贸易网络（由信息管理）获取食物。
AI时代也将如此。无论和平还是战争，战争本质上仍与杀戮有关，但实施方式正在改变。在近期战争中（包括俄乌战争与以色列-巴勒斯坦冲突），人们曾预期AI会通过机器人执行实际射击来改变战争形态，但电视上并未出现 killer robots，杀戮依然由人类执行。物理世界依然存在，信息技术只是在其上叠加了新的维度。
一、AI在战争决策中的自主化
人工智能已经从根本上改变了战争决策的格局：谁选择打击目标、谁做出攻击决策、谁决定轰炸某栋建筑或某个特定人员。 increasingly，答案变成了"AI"。这一转变主要发生在过去两三年内。此前，识别目标的工作由人类情报人员完成，他们需要收集信息、阅读报告，耗时数日才能判定某栋建筑是敌方总部并下令轰炸。如今，AI在数秒内即可完成这一过程——它能处理人类无法分析的海量信息，发现人类无法识别的模式，并在瞬间判定目标。然而，这里涉及复杂的统计概率与数学模型。最大的问题在于：我们能否相信AI？它是否可能犯错，将民用建筑误判为军事目标？据作者与不同人士交流得知，有些部队在AI锁定目标后，会由人类分析师复核所有信息以确保无误；但另一些情况下，人类分析师仅用约半分钟审查，由于数据点过多，实际上无法真正核查AI，只是走个过场，真正的决策者是AI。虽然目前两种情况都可能存在，但展望未来五到十年，趋势十分明显：AI将在战争中做出越来越多的关键决策。这无疑是一项极其危险的发展。
二、问答环节
（一）关于阴谋论与科学真理
有听众提问：鉴于COVID-19疫苗研发过程中出现了阴谋论和虚假信息，未来是否会出现更多反科学、反对科学的 opposition，我们应采取何种对策？
作者指出，阴谋论并非新鲜事物，贯穿整个人类历史。这与之前讨论的一个关键区别相关：真相是复杂的，而虚构是简单的。当一场大流行改变诸多事物时，其真相极为复杂。仅以理解病毒本身为例，病毒是一种极为奇特的存在——人类在历史上大部分时间都不知道病毒的存在，直到上个世纪才开始真正理解。病毒是否属于生命形式？在科学界存在巨大争议：病毒不能独立繁殖，不进食，与细菌不同，它本质上只是一段遗传信息。这段代码侵入人体细胞， hijack细胞 machinery 复制自身，从一行代码变成百万份拷贝，进而感染更多细胞。这就是"病毒式传播"（go viral）的字面含义。这种微观层面的运作方式完全超出我们的日常经验，因此理解大流行的起源与传播极为复杂，远不如相信一个阴谋论来得简单：一群有权势的人制造了这场大流行以控制世界。
作为历史学家，作者明确指出这类阴谋论总是错误的，原因很简单：世界过于复杂，任何少数人集团都无法真正理解并操控它。阴谋论所假设的操控程度完全不切实际。即便是一个拥有全部政府力量的政权，试图推行某项政策也常常失败。以美国入侵伊拉克为例，作为世界上最强大的国家，尽管拥有压倒性军事力量，最终却事与愿违——伊朗反而成为战争的主要受益者。现实世界就是这样运作的。阴谋论本质上是一种一厢情愿的思维，假设世界非常简单，只要几个人在密室里策划就能控制一切，但这从未发生过。
（二）AI对娱乐产业的重塑
关于AI与人类娱乐，作者指出未来娱乐的形式、内容和意义将越来越多地由AI而非人类创造。历史上，所有娱乐形式——从诗歌、戏剧到电视、电影——都源于人类的心智与想象力。但现在地球上出现了一种能以远低于人类成本、远高于人类效率生产此类内容的存在，且能突破人类想象力的生物局限。以围棋为例，2016年AlphaGo与人类世界冠军李世石的对弈是AI革命的决定性时刻之一。令人震惊的不是AlphaGo获胜，而是它获胜的方式：它采用了人类几千年来从未想到过的策略。自两千多年前围棋发明以来，数千万人将其视为一门艺术而非 mere game，发展出完整的哲学体系，却从未有人像AlphaGo那样下棋。作者将人类围棋策略比作一个星球上的一个岛屿，人类困守其中两千年，以为这就是整个世界，而AlphaGo发现了全新的领域。同样的变革即将发生在音乐、绘画、戏剧、电视等领域，AI生成视频的尝试已在进行中。今天的AI与十年后的相比将相形见绌。由于AI是一种"外星智能"，人类无法预测其产出——如果能预测一切，那它就不是AI，只是自动机器（如咖啡机）。真正的AI是当你靠近时，它告诉你它发明了一种新饮料，并已为你准备好。
（三）数字时代的人类共识困境
有听众指出，AI和互联网的便利可能加剧精英与非精英的分化，同时导致价值体系的分裂，掌握真相的人可能不再是多数。在此情况下，人类如何达成共识？
作者承认这是最大的问题：当新信息技术扭曲和操纵人类沟通时，我们如何达成一致？作者坦言不知道答案，并强调科学最重要的特质是承认无知。科学革命本质上是"无知"的革命——此前所有人类群体都声称已掌握全部真理（在圣书或圣人口中），而科学革命的核心是人们开始说"我们不知道"，因此需要研究。当前最重要的研究课题正是：当人类主要通过计算机、社交媒体和AI构成的数字基础设施沟通时，如何建立信任？数千年来积累的信任建立方式正在失效，我们需要更多科学家、学者和研究者聚焦于此。
（四）AI驱动下的科学研究范式
关于AI是否会造成学术研究的回音室效应，作者指出AI正在彻底改变科学研究。 recent诺贝尔物理学奖和化学奖均授予了AI相关研究，尤其是AlphaFold的开发者获得化学奖。他们的工作解决了预测蛋白质如何折叠这一巨大科学难题，彻底改变了化学、生物学和医学生产。更重要的是，AI能打破人类学科壁垒——人类因能力有限而分科治学（如作者研究历史多年，无法深入物理或化学），但AI没有此限制。未来的AI网络可能同时深入理解化学、经济学和历史，整合不同学科的数据与模型，采取整体性研究方法。然而，这也引出一个问题：在这种情境下，人类的角色是什么？考虑到发展速度和潜力，10年或20年后人类还能为科研做出什么贡献，目前尚不明确。
（五）计算机间主体间现实的浮现
关于计算机之间及计算机与人类之间的主体间现实（intersubjective reality），作者以金钱为例说明。金钱并非客观现实，没有客观价值，不能吃，且大部分只是计算机中的信息。金钱正在经历革命：加密货币（如比特币）的价值仍依赖人类信念（如特朗普当选后比特币上涨，因人类相信他会放松监管）。下一步可能是价值仅依赖AI与算法信念的数字货币。如今全球大量债券、股票和外汇交易已是算法之间的交易。如果放松金融监管，我们可能很快迎来后人类金融系统——只有AI能理解、AI之间交易的金融工具。作者以马与金钱的类比说明：人类买卖马匹数千年，但马从未理解金钱为何物，只看到 shiny metal 换来自己，因此人类控制马而非反之。十年内，我们的生活可能由人类无法理解的算法金融交易管理——能否获得房贷由算法决定，使用人类无法理解的金融语言。如果民主国家的首相或财长都不再理解金融，发生金融危机却无人知晓原因和对策，这将同时威胁民主与独裁制度（独裁者最恐惧的是下属变得比自己更强大且无法理解）。
三、总结与闭幕致辞
作者最后强调，许多讨论听起来令人恐惧，但必须平衡AI的巨大积极潜力——从医学到防止灾难性气候变化，AI都能发挥重要作用。问题不在于停止AI发展（这不现实也不可取），而在于安全地发展。关键在于建立人与人之间的信任。作者劝勉学生不要觉得世界的重担都压在自己肩上，地球上还有80多亿人类及其他生物共同承担。信任是生命的基础：甚至我们呼吸的每一刻，都是对外界的信任——吸入外界空气，再呼出归还。如果因不信任外界而紧闭口鼻，几分钟内就会死亡。尽管世界存在巨大的焦虑与恐惧的理由，但生命 ultimately 建立在信任之上。