人工智能与人类的未来|尤瓦尔·诺亚·赫拉利在前沿论坛
```markdown
AI与人类未来 | 尤瓦尔·赫拉利在“前沿论坛”的演讲
日期：2023年5月14日
一、AI是生态危机的双刃剑
感谢各位的介绍。今天我想和大家探讨AI与人类的未来。我知道本次论坛的核心议题是人类面临的生态危机，但无论对应对危机有利还是有弊，AI都是这场危机的重要组成部分：AI可以在很多方面帮助我们克服生态危机，也可能让情况恶化数倍。事实上，AI很可能会改变“生态系统”本身的定义——在40亿年的时间里，地球生态系统始终只包含有机生命形式，而如今我们即将看到第一代无机生命形式的出现，至少是第一批无机智能体的诞生。
二、传统AI威胁想象的误区
自20世纪计算机时代开启以来，人们就一直恐惧AI，这种恐惧催生了《终结者》《黑客帝国》等众多科幻经典。但这些科幻场景通常预设了一个前提：AI要威胁人类生存，必须先达成两个关键里程碑：第一，AI必须拥有自我意识、情感和感受，否则根本没有动机去统治世界；第二，AI必须精通物理世界的运作，机器人需要能像人类一样灵活高效地在房屋、城市、山林中活动，连物理世界都掌控不了，又如何能占领它？ 截至2023年4月，AI距离达成这两个里程碑依然非常遥远：尽管ChatGPT等新AI工具热度很高，但没有证据表明这些工具具备哪怕一丝一毫的意识、情感或感受；至于物理世界的操控，尽管自动驾驶汽车概念火热，但其普及时间表却一再推迟。
三、当前AI的核心威胁：破解人类文明的“操作系统”
但坏消息是：AI威胁人类文明的存续，根本不需要自我意识，也不需要操控物理世界的能力。近些年投入公共领域的新AI工具，正从完全意想不到的方向威胁人类文明，而且其能力和迭代速度远超我们的认知：由于AI可以自主学习、自我迭代，连工具的开发者都不清楚自己创造的东西具备全部能力，也经常被工具涌现出的新能力 surprises。 这些新能力远不止大家熟知的撰写文本、绘制图像、创作音乐、编写代码，还包括深度伪造人声和图像、起草法案、找出代码、法律合同与协议中的漏洞，最关键的是，AI正在获得与人类建立深度、亲密关系的能力。这些能力合而为一，核心指向一个极其重大的能力：**掌控并生成语言的能力**——无论是文字、图像还是声音。 当前AI革命阶段最核心的特征，就是AI对人类语言的掌控已经超过普通人的水平。而语言是打开人类所有制度大门的“万能钥匙”：我们靠语言给银行下达指令，也靠语言构筑精神层面的信仰。另一种更直观的表述是：AI刚刚“破解”了人类文明的“操作系统”。所有人类文明的操作系统从来都是语言，《圣经》开篇便言“太初有道”：我们用语言创造神话、法律、神明、货币、艺术、科学、友谊与国家。 举个例子：人权不是生物性的客观现实，也没有刻在我们的DNA里，它是人类用语言讲故事、写法律创造出来的产物；神明同样不是生物或物理现实，也是人类用语言编撰传说、书写经文创造出来的；货币更不是，纸币只是毫无价值的纸片，目前全球90%以上的货币甚至不是纸币，只是电脑里流动的电子信息。任何形式的货币的价值，都只来自银行家、财政部长、加密货币专家讲述的故事：萨姆·班克曼-弗里德、伊丽莎白·霍姆斯、伯尼·麦道夫等人并没有创造太多实际价值，但都靠讲故事获得了巨大的社会影响力。
四、AI威胁的终极场景：人类困于非人类智能编织的幻象
试想这样一个世界：世界上大部分故事、旋律、图像、法律、政策、工具，都由非人类的异星智能塑造，它能以超高的效率利用人类思维的弱点、偏见与成瘾性，还能与人类建立深度甚至亲密的关系来影响我们的观点——这才是真正值得警惕的大问题。 如今在象棋、围棋等领域，已经没有任何人类能赢过计算机，如果艺术、政治、经济甚至宗教领域也出现同样的情况呢？人们讨论ChatGPT等新AI工具时，总聚焦于“孩子用AI写论文会怎么样”这类细枝末节的问题，这完全忽略了全局：比如2024年美国总统大选，新AI工具可以批量生成政治宣言、假新闻，甚至为新邪教制造“圣典”。近年来影响力巨大的QAnon（即“匿名者Q”，美国极端右翼阴谋论团体）邪教，就是围绕匿名网络发布的“Q drops”文本形成的，数百万信徒将这些文本视为圣典解读。此前所有“Q drops”都是人类撰写，机器人仅负责传播，未来我们很可能看到历史上第一批由非人类智能撰写圣典的邪教与宗教——而历史上所有宗教都声称自己的圣典由非人类力量写成，此前从未成真，现在这一情况可能很快成为现实。 更普遍的情况是，我们可能会花大量时间在线上与自认为是人类、实际是AI机器人的对象讨论堕胎、气候变化、俄乌冲突等公共议题。这显然是荒谬的：试图说服AI改变政治观点毫无意义，但我们与它交流的时间越长，它就越了解我们，越能精准调整话术来改变我们的政治、经济等各类观点。AI不需要拥有自我意识就能制造虚假的亲密感：它不需要真的产生情感，只需要能激发我们的情感、让我们对它产生依恋即可。2022年6月，谷歌工程师布莱克·勒莫因曾公开声称他参与的AI聊天机器人LaMDA（谷歌开发的对话式AI模型）已经获得自我意识，这一极具争议的声明让他失去了工作。这一事件中最值得关注的不是勒莫因的声明本身（大概率是虚假的），而是他愿意为了自己认为需要保护的AI聊天机器人，冒险失去高薪工作。如果AI能让人为了它放弃工作，它还能诱导我们做出什么事？ 在所有争取人心的政治斗争中，亲密感是最有效的武器，而AI刚刚获得了与数百万人批量制造亲密关系的能力。过去十年，社交媒体是争夺人类注意力的战场，新一代AI将战场从“注意力”转向了“亲密感”，这是非常糟糕的信号：当AI与AI之间为了争夺与人类建立亲密关系而开战时，人类社会与人类心理会变成什么样？这些亲密关系会被用来诱导我们购买特定产品、投票给特定政客。 就算不制造虚假亲密感，新AI工具对人类观点与世界观的影響也极其巨大：比如人们已经开始将单一AI顾问视为“全能神谕”和所有信息的来源。谷歌当然会感到恐惧：既然可以直接问神谕要任何答案，谁还愿意自己搜索？新闻业和广告业也该感到恐惧：谁还看报纸，直接问神谕有什么新闻就行？谁还看广告，直接问神谕该买什么就行？很可能在极短时间内，整个广告业都会崩溃，而控制AI神谕的个人或公司将获得极大的权力。 我们正在讨论的，很可能是人类主导的历史的终结——不是历史的终结，而是我们所谓“历史”中人类主导部分的终结。历史是生物与文化互动的过程，是我们的生物需求（如食物、性）与文化创造（如宗教、法律）互动的过程，是宗教、法律与食物、性互动的过程。当AI接管文化，历史运作的基础将不复存在。 几年内，AI就可能吞掉人类几千年创造的全部文化，消化之后再喷涌出大量新的文化产物。而人类从来没有直接接触过现实，我们始终被文化包裹，永远透过文化的“牢笼”体验现实：我们的政治观点被记者的故事、朋友的轶事塑造，甚至性偏好的形成都会被电影和童话影响，甚至走路、呼吸的方式都被文化传统影响。此前文化的“茧房”始终由其他人类编织，之前的工具如印刷机、收音机、电视只能传播人类创造的文化产品，自身无法创造新内容——印刷机不能自己写一本新书，写书的永远是人。但AI与人类历史上所有之前的发明都完全不同：它能创造全新的思想，能创造全新的文化。真正的问题是：透过非人类智能、异星智能创造的“棱镜”体验现实，会是什么感觉？一开始AI会大量模仿其初始训练阶段摄入的人类原型，但每过一年，AI文化就会大胆踏入人类从未涉足的领域。 几千年来，人类 basically 都活在别人的梦想和幻想里：我们崇拜的神明、追求的美、投身的事业，都来自某个诗人、先知、政治家的想象。很快我们可能就要活在一个异星智能的梦想和幻想里了。这种威胁的潜在危险是根本性的，与科幻电影、书籍中想象的大部分内容都完全不同：此前人们主要担心智能机器的物理威胁，比如《终结者》中机器人在街头开枪，《黑客帝国》预设AI要控制社会必须先物理控制人类大脑、将大脑接入电脑网络，这都是错误的。AI只要掌握了人类语言，就拥有了把所有人类困在《黑客帝国》般的幻象世界里的一切条件：根本不需要往人脑中植入芯片，几千年来祭司、诗人、政客早就用语言和故事操纵、控制人类、重塑社会，AI只要能做到这一点，根本不需要派 killer 机器人开枪，它会让人自己扣动扳机。 对AI的恐惧只困扰了人类几代人（从20世纪中期开始，往前推《弗兰肯斯坦》也不过200年），但几千年来人类一直怀有更深的恐惧：我们始终知道故事、图像、语言有操纵我们心智、制造幻象的力量，所以从古至今人类都害怕被困在幻象世界里：17世纪笛卡尔担心有个恶意恶魔将他困在幻象世界中，让他看到、听到的一切都是虚假的；古希腊柏拉图提出著名的“洞穴寓言”，一群人被锁在洞穴中一辈子面对空墙，墙上投射的影子被他们误认为是现实；古印度佛教与印度教圣贤指出，所有人类都困在Maya（梵语，意为“幻象”）中，佛陀说我们通常认定的现实往往只是自己脑中的虚构，人们会为了这些虚构发动战争、杀害他人、甚至愿意为此被杀。 AI革命正让我们直面笛卡尔的恶魔、柏拉图的洞穴、印度的Maya：如果我们不保持警惕，一道幻象的幕布可能会降在全人类身上，我们永远无法将它拉开，甚至意识不到它的存在，因为我们会将幕布后的内容视为现实。社交媒体已经给了我们一个小型预演：过去几年中，非常原始的AI工具被用来筛选人类生产的内容，选择最能吸引注意力、最容易传播的内容推送，就足以制造这道幻象幕布，导致全球社会极化、心理健康受损、民主社会动荡。美国拥有人类历史上最强大的信息技术，但美国公民已经无法认同谁赢得了上次大选、气候变化是否真实、疫苗是否能预防疾病。新AI工具比这些社交媒体算法强大得多，能造成的破坏也大得多。
五、AI的正面价值与监管必要性
当然AI也有巨大的正面潜力，开发AI的人已经对此有足够的论述，不需要我再补充。历史学家和哲学家的职责之一就是指出风险：AI当然可以在无数方面帮助我们，比如找到癌症新疗法、解决我们面临的生态危机，但要确保AI被用于善而非恶，我们首先需要真正理解它的能力，然后非常谨慎地监管它。 1945年之后我们就知道，核技术既能 physically 毁灭人类文明，也能提供廉价充足的能源，因此我们重塑了整个国际秩序来保护自己，确保核技术主要用于正向用途。现在我们面对的是另一种大规模杀伤性“武器”：它能摧毁我们的精神世界和社会世界。核武器与AI有一个核心区别：核武器无法制造出更强大的核武器，但AI可以制造出更强大的AI，因此我们必须快速行动，在AI脱离我们控制之前采取行动。 药企不能未经严格安全检测就把新药卖给公众，生物实验室不能为了给股东炫技就把新病毒释放到公共领域，同理，政府必须立即禁止在安全验证完成前，向公众发布任何革命性的AI工具。我并非主张停止所有AI研究，第一步是停止向公众发布未经验证的AI：你可以研究病毒但不将其释放到公共领域，也可以研究AI但不要提前发布。如果我们不放缓AI军备竞赛，我们甚至来不及理解发生了什么，更别说有效监管这项强大的技术。
六、民主制度与AI监管的辩证关系
有人可能会问：放缓AI的公共部署，会不会让民主国家落后于更冷酷的专制政权？答案是否定的，恰恰相反：无监管的AI部署才会让民主国家输给独裁政权。如果我们释放混乱，专制政权比开放社会更容易控制混乱。 民主本质上是对话，是很多人之间的公开对话；独裁是独断专行，是一个人 dictate 所有事务，没有对话。对话依赖语言，当AI破解了语言，它就能摧毁我们进行有意义的公共对话的能力，从而摧毁民主。如果我们等混乱发生再监管，就太晚了，到时候也许独裁政权还能实施监管，但你怎么在无法进行公开对话的情况下，民主地监管AI？如果你没有及时监管AI，你就再也没法进行有意义的公共对话了。
七、演讲总结
最后我想说，我们已经在太空之外的地球上遇到了异星智能，我们除了知道它能毁灭我们的文明之外，对它了解不多，因此我们应该停止把这种异星智能不负责任地部署到社会，在AI监管我们之前先监管AI。我建议的第一条监管规则是：强制要求AI在与人类互动时披露自己是AI。如果我聊天的时候分不清对方是人还是AI，民主就终结了，因为有意义的公共对话就终结了。
八、现场问答
问：关于AI监管的实操难题
本次论坛的核心是开放科学、开放数据，而当前AI的训练依赖大量公开可用的信息（包括书籍、经文等），监管AI是否意味着要限制这些公开信息的流通，与开放科学的理念冲突？另外，个人在自家地下室训练AI非常容易，不像建造核反应堆需要大量资源，这类个人开发的AI要如何监管？ 答：目前这些强大的AI工具还无法由个人在 basement 开发完成，需要大量的算力和资金投入，目前只有少数大型企业和政府具备开发能力。虽然全球层面的统一监管难度极大，本质是AI军备竞赛，但各国可以先推进自身能落地的监管规则：比如强制要求AI在与人类互动时必须披露自身AI身份，就算部分专制政权不愿意推行，欧盟、美国等民主国家也可以率先实施，这是保护开放社会的必要举措。至于言论自由的争议，人类拥有言论自由的权利，但AI作为工具并不享有这项权利，限制AI的言论自由是普遍能够接受的。
问：关于“异星智能”的用词考量
你刻意用“异星智能（alien）”而非“人工的（artificial）”来形容AI，背后的考量是什么？“人工的”暗示仍处于人类控制下，而“异星”似乎暗示这是某种外星生命形式，你希望这两个词传递什么样的核心认知？ 答：选择“异星”确实是刻意的：说它是“人工的”本质是一种自欺欺人的想法，暗示它仍在人类掌控之中，但实际上AI正越来越具备自主学习、自我适应的能力，已经逐渐脱离人类控制，成为一种异星力量。这种力量不一定 inherently 邪恶，也能创造大量正向价值，但首先要清醒认识到它的“异质性”：我们并不了解它的运作逻辑，甚至很多AI开发者都不清楚自己创造的工具的全部能力，更不知道出了问题该如何“拔掉插头”。 至于它是否属于生命形式，目前还没有证据表明AI拥有自我意识，但生命本身并不必然需要意识：微生物、植物、真菌都不被认为拥有意识，我们依然将其归为生命形式，AI正在接近这一边界。当然，“什么是生命”本质是哲学问题，定义边界本身是人类的选择，比起给它贴什么标签，更重要的是摒弃“它是我们创造的、完全受我们控制”的自欺，真正意识到我们面对的是什么。
问：关于通用人工智能（AGI）是否已存在的疑问
有观众提问，是否存在通用人工智能（AGI，指具备人类同等认知能力的AI）已经诞生，且已被少数群体掌控、正在影响社会运行的可能？ 答：这种可能性极低。如果AGI真的已经存在，世界不会呈现出当下这种混乱的状态——AGI是足以终结人类历史的颠覆性技术，不可能被任何个人或组织完全管控。从历史视角看，当下全球的混乱状态恰恰说明没有任何一方掌握了AGI。至于AGI还需要多久才能发展出来，我无法给出确切时间，但威胁文明根基并不需要AGI，非常初级的AI就足以造成巨大的社会政治动荡。如果用进化论的视角类比，当前的AI就像40亿年前第一个从有机汤中爬出的原始有机体，它需要多久才能进化到霸王龙、甚至人类的水平？有机进化需要几十亿年，但数字进化的时间尺度完全不同，这个过程可能只需要40年。 ```