尤瓦尔·赫拉利 CogX 2023 Festival 观众问答实录
一、活动开场与嘉宾介绍
CogX 2023 Festival 主持人奥勒·巴雷特（Olle Barrett）首先向线上线下及现场观众致欢迎辞，感谢观众参与这场为期3天的密集议程，并介绍接下来三天将由他共同主持该舞台的系列活动。 随后巴雷特介绍本次对话嘉宾尤瓦尔·赫拉利：他是全球畅销书《人类简史》《未来简史》《今日简史》的作者，著作累计销量达4500万册，覆盖65个国家和地区；同时他是社会影响力公司Sapienship的联合创始人，聚焦教育与媒体领域，长期就AI新兴风险、以色列当前的反民主政变、新冠疫情、乌克兰战争等时事议题发声，任职于耶路撒冷希伯来大学历史系。巴雷特表示非常荣幸邀请到赫拉利参与本次Festival。
二、开场主旨回顾：AI是文明级新挑战
主持人请赫拉利简要回顾此前主舞台演讲的核心观点，为后续问答铺垫。赫拉利指出，AI的崛起是人类历史上从未遇到过的危机：这是人类首次需要应对一种非人类、非有机的、能够自主决策、创造思想的实体。他主张将AI的“A”理解为“异类（Alien）”而非“人工（Artificial）”：AI本身未必带有恶意，但其本质与人类差异极大，人类没有太多时间就如何应对这种异类智能达成共识。 当被问及是否可将AI视为新型大规模杀伤性武器时，赫拉利表示，AI确实可能被用于制造或操控核武器、生物武器等传统大规模杀伤性武器，但其更危险之处在于发展路径完全不可预测：过往核武器等科技威胁的是人类文明的物理毁灭，而AI可能从社会、心理甚至精神层面摧毁人类——比如破坏人际信任、动摇人类最深层的情绪、欲望与价值观，而这些本质上是文化塑造的产物。
三、观众问答环节
（一）AI与人类潜能、意识认知
来自瑞士的观众朱迪提问，询问AI作为异类智能将如何帮助人类释放自身潜能、更好地认识自我。 赫拉利回应，AI确实能助力人类认识自我：人类需要海量数据才能理解自身大脑、情感系统的运作机制，这是人类自身无法独立完成的，而AI可以“破解人类操作系统”，帮助人类完成这类研究。但巨大的风险在于，人类可能过度依赖AI做决策，甚至被AI引导进行自我改造。核心问题是如何智慧地使用技术：将其用于帮助人类认识自我，而非操纵、控制人类。 随后有观众提问，询问人类对自身意识的认知有多少空白，AI无法告诉人类关于自身的哪些信息。赫拉利首先指出人类对意识的认知依然非常有限，核心要区分“智能”与“意识”两个概念：智能是解决问题、完成目标的能力（如下棋、诊断疾病、驾驶），意识则是感受痛苦、快乐、爱、恨等情绪的能力。人类及多数哺乳动物、鸟类身上智能与意识是绑定的，但AI的本质差异在于完全没有意识，它解决问题完全不依赖情绪，运作逻辑与人类完全不同。虽然科幻作品中常出现AI发展出意识的设定，但这并非必然。因此AI永远无法理解“意识”本身，这也让他认为智能被过度高估了——不仅AI如此，人类作为地球上智能最高的物种，同时也是最愚蠢、最容易被误导、最具破坏性的物种，仅有高智能是不够的，人类还需要意识层面的成长。 主持人提到赫拉利每天冥想2小时，每年参加30-60天的内观禅修 retreat，问他这是否意味着他的最佳思考完全不依赖技术。赫拉利回应，禅修的核心不是提升智能，而是培育意识，只是观察当下发生的一切，不试图解决问题，只追问“究竟发生了什么”。他并不想把禅修包装成适合所有人的方法，每个人都可以通过艺术、徒步、运动等方式更好地认识自我，关键是要投入资源发展意识，而非仅仅提升智能。
（二）制度构建：AI治理的核心基石
来自英国皇家建筑师学会的穆阿提问，提到历史上机构往往不够前瞻创新，询问赫拉利所说的需要构建的AI治理机构是什么样的，产出是什么，人类应如何组织起来适应AI等新兴技术。 赫拉利首先强调机构并不“性感”，但却是大规模人类社会的基石，个体很伟大，但无法单独构建社会，必须依靠机构。当下全球的核心问题之一是公众对机构的信任崩塌，而机构最重要的特质是能够承认并纠正错误——敢于承认错误的机构才值得信任，而那些宣称自己永远正确、完美的机构，公众只会避之不及。至于AI治理，不需要完全从零开始发明新机构，可以在现有议会、媒体等机构基础上进行调整，人类没有时间重新发明整个经济社会制度。当前需要针对AI专门构建新的治理机构，但必须依托现有体系运行。
（三）AI风险防控与主动防御
来自彭博社的记者阿萨德提问，第一个问题是如果AI的决策能力远超人类，是否应该由AI取代人类做决策（比如驾驶），第二个问题是当前AI领域最危险和最可取的参与者是谁（国家、企业、马斯克等）。 赫拉利首先回应：如果AI确实能做出更优决策，当然可以借助AI，比如医疗、驾驶等领域，但他反对完全禁止AI发展；但将决策权交给AI时必须满足两个前提：一是决策过程完全透明，明确是AI在做出决策，不能是黑箱；二是必须有机构对AI的决策进行监督，不能盲目依赖AI。关于参与者的问题，他认为判断标准不是参与者的善恶意图，而是能力：能力越强的AI越危险，因为AI本身没有恶意，但当它拥有自主决策、创造思想的能力，且运作逻辑与人类完全不同、人类无法理解时，风险就会急剧上升。他举了2008年金融危机的例子：当时华尔街的数学天才发明的担保债务凭证（CDO）没人能理解其运作逻辑，也没人能监管，最终引发全球经济崩溃。未来AI可能创造出更复杂的金融工具，没人能理解其底层逻辑，经济繁荣几年后突然崩溃，届时没有任何政治家、银行家能搞懂问题出在哪里，人类政治体系将彻底失效。这不是好莱坞式的末日场景，但破坏力不亚于2008年危机。他不想点名具体个人或企业，危险的本质是“在不懂如何控制的情况下盲目追求更强大的能力”。
来自科技咨询公司代表卡特里娜提问，她认为当前对AI的恐惧和不确定性主要来自治理缺位，问AI治理的最佳和最差情景分别是什么。 赫拉利回应：最佳情景是构建起拥有公众信任、能够实时理解技术发展并做出反应的“活机构”，不要指望提前预判AI未来3年、10年的所有风险，通过立法一劳永逸地解决问题，因为没人能准确预测未来。最差情景是完全没有机构、没有规则，陷入全球AI军备竞赛：如果人类无法团结起来，每个阵营都会为了不被对手甩开而被迫推进AI研发，最终陷入“逐底竞争”，异类智能将赢得胜利。
来自美国观众的提问提到，美国证券交易委员会等行政机构试图通过执法行动监管Web3和加密货币，但跟不上行业发展，最终只能由法院系统立法，问如何构建真正有效的治理机构，避免这类监管失效的问题。 赫拉利回应，这类机构需要两个核心特质：一是具备足够的专业能力和资源，与研发AI的私营企业竞争，他建议可以立法要求所有AI企业将20%的营收或投资投入AI安全治理机构，保障其有足够的人才和技术能力跟上行业发展，不能指望企业自我监管；二是必须与公众保持紧密联系，因为一线受AI影响的社区往往比坐在“象牙塔”里的专家更了解技术的实际影响，机构需要倾听基层声音，才能获得公众信任，避免监管脱离实际。
来自AI初创公司创始人查丹尼提问，她提到历史上很多技术都有未预见的负面后果，往往在部署后才被发现，问能否更主动地构建防御机制，避免AI的意外后果，比如现在很多人用ChatGPT生成想法，长此以往人类是否会丧失独立思考能力。 赫拉利给出两点建议：第一，开发AI时必须内置“自我怀疑”机制，任何领域的AI系统都要有能力评估自身的不确定性、表达怀疑，这是核心安全特性；第二，商业模式的构建要以“核心业务本身是有益的”为第一原则，不要想着先通过有害的方式赚大钱，再用赚的钱做慈善回馈社会，核心业务的影响远大于附属的慈善项目，如果核心业务是有害的，捐再多的钱也弥补不了损失。
（四）人类核心能力与AI的未来边界
有观众提问，认为当前的AI监管很像“集体自我防护”，是人类出于怕失去控制的焦虑做出的反应，不如放手让技术发展，即使有风险也和其他人生风险一样，过度控制反而可能带来更差的结果。 赫拉利回应，虽然他个人禅修的核心是“观察不干预”，但AI的规模太大，人类赌上的不仅是自身的未来，更是地球上所有生命的未来。人类过去作为地球的“管理者”表现并不出色，也没有理由认为异类的、非有机的AI会比人类做得更好——AI没有有机生命共享的深层限制和关切，比如对生存、繁衍的底层需求，这些是刻在包括阿米巴原虫在内的所有有机生命基因里的，AI完全不具有。他进一步指出人类的核心“超能力”是能够以灵活的方式大规模合作，而这一能力的基础是“讲故事”的想象力，而AI恰恰正在劫持这一核心能力：AI已经能够创造故事，而故事是文明的基石，人类历史上首次可能出现由非人类智能创造的宗教神话，这是非常值得警惕的信号。
（五）全球AI治理的可行路径
最后来自太空可持续性领域的凯瑟琳·考特尼提问，她提到赫拉利之前建议人类投入AI能力建设的资源同等投入人类能力建设，问这具体意味着什么。 赫拉利回应有三个核心方向：第一，遇到重大问题时不要想“让AI来解决”，这是非常危险的思路，AI只能作为辅助工具，不能信任它自主提出解决方案，因为AI的解决方案缺乏有机意识的底层约束，看似完美，但可能隐藏着人类无法预见的风险。 随后主持人询问赫拉利对11月英国布莱尔公园AI峰会的建议，如何避免峰会流于形式。赫拉利建议峰会必须产出具体的行动决议，而不是又成立一个智库、约定两年后或五年后再开会，不能只停留在口头承诺。同时要求政治领导人向科技企业领导人提出尖锐问题：历史正在注视着你们，是你们把人类带到了这个路口，不要再用“我们只是平台”之类的借口推卸责任，把其他所有事务（比如移民火星）都放到次要位置，先解释清楚为什么在人类拥有史上最先进的信息技术的今天，人们反而失去了对话的能力——不仅是说话的能力，更是倾听、建立信任的能力。
最后主持人感谢赫拉利的分享，本次问答环节结束。