F's Blog
返回 Harari的演讲&对话
Harari的演讲&对话··fish

黑客攻击人类 - 洛桑联邦理工学院 (EPFL) 尤瓦尔·诺亚·赫拉里 (Yuval Noah Harari) 圆桌会议

《黑客人类》尤瓦尔·赫拉利EPFL圆桌讨论(2019年7月13日)整理稿

一、开场致辞与活动介绍

各位来宾、各位朋友,我谨代表洛桑联邦理工学院(EPFL),欢迎大家来到校园参与这场特别的晚间讨论。 2019年对EPFL而言是极为特殊的一年:我们迎来了建校50周年。在高等教育领域,50岁的高校仍可类比为尚在探索的孩童,而孩童最突出的特质就是不断追问。作为一所理工类院校,我们正站在21世纪最紧迫问题的核心,技术早已嵌入我们生活的方方面面,今晚的讨论正是为了向这些关键问题发问,并尝试寻找回应。 为此我们邀请了一组特别的思考者,希望带领我们探寻技术的走向,以及人与技术的关系。接下来让我们有请本次活动的合作伙伴、赋权基金会(Empowerment Foundation)创始人兼主席勒伊拉·德拉里夫,为大家介绍活动详情。 (现场鼓掌) 晚上好,教授。很高兴两小时后能再次和大家交流。 各位晚上好,我是勒伊拉·德拉里夫,赋权基金会的创始人兼主席。我们正处在历史的转折点:如今我们越来越多地将自由让渡给算法和数据,我们身边已经遍布机器人,未来某天我们自己也可能变成机器人——也就是人们常说的“增强人类”。在这个特殊的历史节点,我们面前有两条路:要么走向乌托邦,要么跌入噩梦,选择权在我们手中。 赋权基金会始终倡导“以人为本的技术”,即技术应当服务于人类,而非奴役人类。我们相信技术能够推动社会更加包容,让每个人都拥有更多的幸福感、财富,也希望我们能在更健康的环境中生活。但当下仍有大量议题需要探讨。我们与EPFL合作,邀请到21世纪最伟大的思想家之一,与我们共同探讨人类的未来。他的三本著作《人类简史》《未来简史》《今日简史》畅销全球,他是耶路撒冷希伯来大学教授,相信今晚他的分享能帮助我们更好地理解人类的未来走向。 在邀请他上台之前,我先为大家介绍今晚的活动流程:尤瓦尔·赫拉利教授的主旨演讲结束后,我们将邀请多位嘉宾参与讨论,包括人权观察(Human Rights Watch)执行主任肯·罗斯、苏黎世联邦理工学院(ETH Zurich)伦理学家埃菲·瓦伊纳教授、大家熟悉的雅克·杜博歇教授,以及EPFL的两位研究教授罗蒂讷教授、布洛赫教授和派克教授,我们将共同探讨技术的影响,也期待与现场观众互动交流。 接下来让我们用掌声欢迎尤瓦尔·诺亚·赫拉利教授上台。 (现场鼓掌) 晚上好,教授。谢谢。谢谢各位来到现场,共同探讨我们的未来,希望是我们作为人类共同的未来。 21世纪的人类需要知道的最重要的一点是:我们已经成为了可被“黑客”的物种。这是两场巨大的科学与技术革命融合的结果:一场是信息技术革命,一场是生物技术革命,过去几十年两场革命各自独立发展,如今合二为一,其核心成果就是人类获得了“黑客人类”的能力。 如今人们常讨论黑客电脑、智能手机、邮箱和银行账户,但真正重要的能力是“黑客人类”本身。这一认知并非来自人工智能或信息技术,而是来自生物科学的发现:生物体本质上就是算法,因此算法可以“黑客”生物体。如果各位习惯用方程理解现实,我可以提供一个公式来理解当下正在发生的事:生物知识×算力×数据=黑客人类的能力。 “黑客人类”指的是:比人类自身更了解自己的感受、想法和欲望,一旦这种能力成为现实,就意味着那些比你更了解你的人,不仅能预测你的决策和选择,还能操纵你的决策和选择,甚至 increasingly 代替你做决策。这本质上是权力从人类向算法的转移。 纵观人类历史,诸多政府、企业和机构都有理解和控制人类的野心,但过去从未真正实现过,因为它们从未拥有足够的生物知识、算力和数据。哪怕几十年前,苏联的克格勃可以24小时跟踪你的行踪,记录你和谁交谈、去过哪里、做过什么,但它没有足够的生物知识、算力和数据,去破解你身体内部、大脑和心智中真正发生的事。 而人类历史上首次,如今或至少在10到20年内,部分国家和企业将拥有足够的生物知识、算力和数据,能够系统性“黑客”数百万甚至数十亿人。如果这种情况发生,而我们不采取应对措施,将意味着我们熟悉的自由民主制和自由市场经济的终结:自由民主制建立在“选民最清楚自身利益”的认知上,选民是政治领域的最终权威;自由市场经济建立在“顾客永远是对的”的认知上,消费者的欲望是经济领域的最终权威——政府应当代表人民的意志,企业应当服务顾客的需求。但如果政府和机构不仅能预判选民和消费者的意愿,还能操纵甚至控制其意志,民主和市场的基础将彻底崩塌。 这不是一个假设性问题,关于人类能动性、关于自由意志是否存在的问题,困扰了哲学家数千年,哲学层面的争论本身并不新鲜,新鲜的是技术:我们现在已经或即将拥有技术,让政府和 corporations 能够以从未有过的程度操纵和控制选民与消费者的意志。到那时,“谁代表谁”将不再清晰。 我不想让大家把这当成末日预言,因为这并非不可避免。技术永远提供选项,不是无限多的选项,但始终有不同的选择。20世纪的人们用同样的工业革命技术(火车、电力、广播、电视、汽车),有人建立了独裁政权,有人建立了法西斯 regime,有人建立了自由民主制,技术本身是中性的。21世纪的信息技术和生物技术同样能导向从天堂到地狱的任意社会形态。 当下最重要的是意识到这些技术的真正潜力,真正启动关于这些议题的政治讨论。像我们这样的工程师和科学家可能已经意识到新发明、新发现的真正潜力,但政治体系和大多数公众尚未意识到我们正在面对什么,新技术究竟意味着什么。因此历史学者、哲学家、社会科学家的职责,是在工程师、遗传学家、生物学家和普通公众之间搭建桥梁,真正改变公共讨论和政治讨论的方向。 我认为这应当成为全球每一次选举、每一次公共讨论中最重要的议题之一。但作为一名历史学者,我遗憾地看到,当今世界大多数国家的政治讨论都聚焦于过去的问题,太多政客要么没有能力、要么不愿意为人类的未来构建有意义的愿景。20世纪的政治是不同未来蓝图的博弈,无论好坏,当时所有人都清楚政治是关于未来的:共产主义蓝图、法西斯主义蓝图、自由主义蓝图,政治斗争就是这些未来蓝图之间的斗争。而如今,全球政治光谱上的几乎没有人,能提出人类20年、30年后将去向何方的有意义愿景,他们提供的绝大多数都是对虚构过去的怀旧幻想。 这是极其危险的处境:它意味着人类历史上最重要的决策,要么被少数不向任何人负责的专家做出,要么根本没人做决策,只是随机发生。而这本身也是权力从人类向算法转移的过程的一部分。2019年人类仍保有能动性,但我们的时间不多了:在我们有生之年,如果权力转移持续到某个节点,大多数人将根本无法理解世界正在发生什么,甚至大多数政府和元首也无法真正理解,越来越多的决策将由算法代替我们做出,因此“谁设计这些算法、基于什么伦理设计”是极其关键的问题。 最后我想从长历史视角谈技术与政治的关系:技术往往定义了时代最核心的政治议题。古代最重要的资产是土地,最先进的技术是农业技术,是农业社会的基础,因此政治 largely 是争夺土地的斗争;工业革命后,经济中最重要的资产从土地变为机器和工厂,过去两个世纪的政治 increasingly 是争夺机器、工厂和产业控制权的斗争;如今数据正在取代机器成为世界上最重要的资产,核心政治斗争也不再是关于机器,而是关于数据——控制全球数据流动的人,将决定人类甚至所有生命的未来。 我希望今天的讨论不仅能让我们更清楚地认识这些问题,更能 spark 一场关于这些议题的公共讨论和政治讨论。谢谢大家。 (现场鼓掌) 好的,赫拉利教授请坐。接下来我们将有一个半小时的讨论时间。首先我要说,我是一个非常乐观的人,始终相信人类的韧性,但读完《人类简史》后我有些沮丧——毕竟人类是史上最顶级的捕食者,我的担忧是对的吗? 不,人类不是最顶级的捕食者。我觉得人类更像是“物种灭绝的惯犯”:狮子、熊、鲨鱼的捕猎能力远强于人类,但说到 exterminate 整个物种、整个栖息地,世界上没有比人类更擅长的。甚至在农业革命前,在第一片麦田被播种、第一座城市建立之前,人类就已经导致了地球上近一半大型陆地哺乳动物灭绝。所以是的,我们确实有充分的理由担忧,我们必须承认:如今大多数生命的未来都取决于我们,取决于我们的选择。 我们发明了很多伟大的创造,也发明了如今正在造成恶果的技术:我们发明了电力,发明了核裂变,很多发明我们今天都在付出代价。我们真的这么短视吗,只能看到眼前的短期回报? 通常来说是的。有些个体能够看得更长远,但人类制度在这方面的困难要大得多。纵观人类历史,人类非常擅长发明新事物、改造环境——河流、森林、动物、其他人,但我们一直有一个大问题:很难预见自身行为的全部后果。最典型的例子就是农业革命:小麦、水稻、鸡、牛等动植物的驯化,当时很多人认为这是人类的进步,但实际上对大多数人而言,农业革命后的生活比之前艰难得多,只有国王、祭司、皇帝等小部分精英过上了更好的生活,如果你是在古埃及的普通农民,或是中世纪中国的普通农户,你的生活其实比农业革命前艰难得多,但当时几乎没人能预见这一后果。如今的技术发明也是一样,没人知道未来30到50年,这些技术会对人类社会、甚至人类的身心产生什么影响。 但如果我们有大数据、人工智能、预测系统,哪怕不知道未来具体会发生什么,这些工具能不能帮我们做出更好的决策? 我希望可以,但技术是一把双刃剑:当你拥有更多数据、更多算力、更多预测能力时,你以为自己能看得更远,但恰恰是同样的技术让变化加速,因此预测未来反而变得更难。如果我们坐在1000年前的1019年,预测1050年的未来要容易得多:我无法预测1050年的政治局势,但我可以非常确定地告诉你就业市场会是什么样——90%以上的人还是农民,所以教年轻人放牧、做奶酪、种水稻、磨玉米准没错,这些技能到1050年仍然有用。但2019年我们看2050年,没人知道就业市场会是什么样,人们需要什么技能。我们比1000年前拥有更强的预测能力,但恰恰因为如此,变化的速度快得多。这就是预测的悖论:你掌握的知识越多,对未来的无知感反而越强。 那我们怎么才能更清醒地行动?我们很恐惧,没人知道未来会发生什么,正如你说的,根本没人能预测。 我认为这意味着几件事:首先是教育层面要“分散下注”,不要只教年轻人某一项特定技能,不要把所有赌注都压在“2050年人们一定需要编程”上,因为到2050年AI可能比人类更会编程,这项技能可能根本不需要。更稳妥的是培养年轻人的韧性和心理灵活性,因为我们确实不知道他们需要掌握什么技能,但我们确定的是他们需要不断适应变化。 政治和社会层面,两个关键原则是“平衡”和“合作”:首先必须避免权力和数据过度集中,因为数据是新时代权力的原材料,要尽可能将权力和数据分散到更多主体;其次必须开展全球合作,只有足够多的国家合作,才能避免最坏的情况,否则就会陷入军备竞赛——过去几年尤其是近两年,中美之间的人工智能军备竞赛已经加速,生物技术领域的军备竞赛也即将到来。一旦陷入军备竞赛,哪怕你向所有人解释危险,每个人都会说“我们不想做这种危险的事,但我们不能信任对手不做,所以我们必须先做”,这就是军备竞赛的逻辑。而如果我们已经或即将进入AI这类领域的 technological 军备竞赛,这是当下最糟糕的消息。 我们稍后会邀请肯·罗斯一起讨论军备竞赛的问题。回到数据议题:如今我们每天都在失去隐私和自由,走到哪里都在交出数据,我们怎么才能保持自由? 首先我们可能需要意识到:我们从来不像自己以为的那么自由。如果“自由”指的是“自由意志”,那它从来都是幻觉。过去我们不需要为相信这个幻觉付出太高代价,因为人类太复杂,外部系统无法“黑客”我们:哪怕1000年前,我们的很多欲望和决策也不是自由意志的产物,而是生物、文化、社会因素共同作用的结果,但过去没人能真正理解我们的决策机制,也没法大规模操纵人类,所以我们可以安心相信自由意志。但如今自由意志可能成为世界上最危险的幻觉——最容易操纵的人,就是相信自由意志的人,因为他们不相信有人能操纵自己。 这其实不是什么复杂的哲学问题:你脑海中冒出的下一个想法、下一个欲望,从哪来?如果你相信自由意志,你会说“这只是我的自由”,然后就停止追问,失去对所有欲望来源的好奇心和警惕心;但如果你真的追问,你会发现你的欲望反映的是大量你无法控制的生物、社会、文化因素,而这些因素可能正被他人操控。过去这只是哲学问题,如今它变成了工程和政治问题,因为部分国家和企业已经获得了大规模操纵和控制人类欲望的技术。 所以我认为,自由不是与生俱来的,是需要争取的:如果你默认“我冒出的每个欲望都是我的自由意志,自由就是满足我的欲望”,那你本质上已经是奴隶了——不是生物机制的奴隶,而是那些知道如何操控你欲望的人的潜在奴隶。只有开始追问欲望的来源,才是真正争取自由的道路。 但如果我有足够的信息做决策,这个决策难道不是基于我的自由意志吗? 首先你永远不可能拥有算法能掌握的全部信息,人类做决策通常只基于三四个数据点,而算法可以基于数千个数据点做决策。举个具体的例子:申请贷款。50年前甚至10年前,你的贷款申请会交给银行职员,他只会参考你的信用记录、种族、性别、宗教等少数几个特征做决策;如今算法可以审查数千个对你来说完全无关的数据点,比如你手机充值的日期、申请贷款的时间,算法能找到其中的规律纳入决策,人类根本不可能处理这么多信息。 其次,哪怕你拥有全部信息,我们对自身身体和大脑运作的理解也非常有限,更多是基于神话和神学而非科学和生物学。这也是为什么我之前说关键不只是AI:AI本身做不了什么,只有和生物技术结合才能发挥作用——比如自动驾驶汽车必须能理解人类情绪,才能真正上路。我们正处在生物技术和信息技术的融合节点,真正把两场革命结合起来的发明,是能把生物现象转化为数字数据的生物传感器,一旦这种廉价、普及的生物传感器出现,两场革命就真正融合了,这将彻底改变整个世界。 (主持人笑)听完这些我有点沮丧,不过我们接下来有更多时间讨论。让我们用掌声欢迎圆桌嘉宾上台:埃菲·瓦伊纳教授、肯·罗斯先生、雅克·杜博歇教授,请各位上台继续和赫拉利教授展开讨论。 (现场鼓掌)

二、主旨演讲:人类已成为可被“黑客化”的物种

(内容已整合至开场后的演讲部分)

三、圆桌对谈:技术风险、民粹崛起与全球治理

主持人首先介绍三位嘉宾的背景:埃菲·瓦伊纳是苏黎世联邦理工学院的数字伦理学家、生物伦理学家,专注于健康数据、基因测序等议题;肯·罗斯是国际人权组织人权观察的执行主任、前检察官,我们将与他探讨立法相关议题;雅克·杜博歇是2017年诺贝尔化学奖得主,同时也是环保活动家,今晚我们将与他探讨环境议题。 主持人首先向肯·罗斯提问:民粹主义正在全球兴起,对民主、社会、人权都产生了很大冲击,你怎么看民粹主义的崛起、对技术的抵触、对环境议题的漠视,以及民粹主义政权可能利用技术侵犯人权的问题? 肯·罗斯回应道:民粹主义的本质是领导人通过污名化不受欢迎的少数群体(比如同性恋、移民、特定宗教信徒)获得权力,上台后系统性攻击权力的制衡机制:独立法官、独立媒体、独立活动家,摧毁民主确保行政机构对公众问责的要素,从欧尔班到埃尔多安、塞西、杜特尔特、特朗普,全球各地都有这样的例子。而让民粹主义更容易获得和维持权力的技术革新,是社交媒体的出现:过去政客必须通过政党、《纽约时报》这类中介机构传递信息,这些机构会过滤信息、判断真相;而社交媒体打破了这种中介,任何人都不需要政党背书、不需要传统媒体,就能直接向公众发声。而社交媒体的算法为了提升用户参与度,会优先推送更极端、更具煽动性的内容,民粹主义的仇恨、恐惧言论恰恰是最能吸引参与度的,这进一步推动了反民主、反自由的民粹言论在全球蔓延。 主持人随后转向赫拉利提问:你最近和马克·扎克伯格见过面,谈完之后是否放心了? (赫拉利笑)完全放心不了。问题远不止扎克伯格个人,他和其他人建造的这些巨大的平台已经很大程度上独立于他们个人运行,哪怕他本人改变想法、有正向的愿景,平台也不会自动响应。我完全同意当下最大的竞争之一是对人类注意力的争夺,而 grabbing 人类注意力最简单的方式就是按下恐惧、仇恨、愤怒的按钮,社交媒体巨头的商业模式完全建立在争夺用户注意力上,所以他们几乎被迫这么做。问题远大于任何个人的愿景,我们必须改变科技行业尤其是社交媒体行业的基础商业模式。而且讽刺的是,这些广告带来的收入其实并不多,但造成的政治破坏却极其惊人。 主持人接着提到赫拉利此前关于中国的表述:你之前说过中国像是一个在应对气候变化、推动全球协议方面负责任的“成年人”,但另一方面中国的人权状况也备受质疑,你怎么协调这两个判断? 赫拉利回应道:一个国家完全可能在一个议题上积极正向,在另一个议题上落后消极,这并不矛盾。 主持人补充:可能我们对中国的认知存在偏见,你是否能帮我们换个角度看这个问题? 赫拉利说:过去几年确实出现了针对中国的歇斯底里,因为中国在经济、技术上追赶西方,这加剧了军备竞赛的心态,而这是最危险的。一旦陷入军备竞赛心态,人们就会说“我们知道这技术危险,但中国在做,所以我们也不得不做”,中国也会说“我们知道这危险,但美国在做,我们不能落后”,最终没人能阻止危险技术的滥用。而过去两三年,美国主动放弃了“世界领导者”“自由世界领导者”的角色,哪怕过去它的角色有争议,但至少几十年来它一直声称要承担这个责任,2016年之后美国明确转向“美国优先”,不再关心世界,没人会追随一个 motto 是“我优先”的领导者。欧洲等其他国家不能每四年等一次美国大选看结果,这反而给了欧洲机会,让欧洲承担更多责任,成为中美之间在AI等技术领域的军备竞赛的调解者和平衡力量,避免全面军备竞赛爆发。 主持人随后转向肯·罗斯,提到他刚发布了关于隐私的相关报告,请他进一步分享。肯·罗斯表示,中国就是未来 dystopia 的最清晰样本:中国已经成了一个不受任何约束的监控国家,是独裁政权,压制了公众异议,几乎没有内部制衡,其监控模式是硅谷公司和各国情报机构梦寐以求的。他举了两个例子:新疆和全国推行的社会征信体系。 新疆是维吾尔族穆斯林聚居区,中国当局把维吾尔族和其他突厥语系穆斯林视为安全威胁,建立了全球独一无二的监控体系:警察手持移动设备,人权观察组织逆向工程了其中一款设备,发现每个警察可以获取新疆每个居民11页的个人数据,包括政治可靠性、社交关系、家庭成员、血型、用电量、手机是否长时间关机等所有“可疑活动”,还会标注这个人应该被审讯还是拘留。这套体系导致1100万维吾尔族人中近100万人被关进“再教育营”,占比接近10%,如果排除儿童比例更高,仅仅是因为被监控系统判定为“不可靠”——太宗教化、批评习近平等。这套体系正在向全国推广,形式就是社会征信体系。 征信体系的精妙之处在于它甚至不需要监禁就能实现社会控制:每个公民都有分数,分数既包括扔垃圾、保持庭院整洁、是否闯红灯这类社会行为,也包括是否批评政府、和批评政府的人交往、参加类似今晚这样的活动等政治行为,然后政府根据分数分配社会福利:能不能住好城市、孩子能不能上好学校、能不能办护照、能不能坐高铁、能不能看最新电影,人们为了获得这些福利会主动调整行为,这是极其精妙的社会控制手段,只需要在极端情况下用监禁,平时靠数据就能控制人,这正是赫拉利所说的未来场景。 我们不可能让技术倒退到无法收集、分析数据的阶段,但必须制定数据隐私保护规则,明确政府不能对公民数据做什么。这类监管不会从中国开始,中国会是规则的例外,但如果欧洲能够建立一套强有力的大数据分析和人工智能应用于个人数据的边界规则,将有助于 counter 这一趋势。

三、技术向善:人权保护领域的科技应用

主持人提问:此前我们探讨了技术被滥用于侵害人权的风险,但技术同样可以用于保护人权。肯,你在人权观察(Human Rights Watch)工作,能否介绍你们在这方面的实践?

肯回应:我们当然不能只呈现消极的视角,技术确实有很多向善的应用,我简要介绍。人权观察在全球拥有大量调查员,一旦发生战争、镇压事件,调查员会第一时间赶赴现场取证、报道事件真相,曝光相关政府并施加压力促使其改变。但如今很多政府会阻挠调查员进入现场,部分冲突区域也过于危险,难以抵达。因此我们与洛桑联邦理工学院(EPFL)合作开发了遥感能力,其中一部分使用卫星影像:硅谷的Planet公司每日拍摄全球影像,向我们捐赠了价值一百万美元的影像资源,完全满足我们的使用需求。这些影像帮助我们核实了罗兴亚难民的证词:缅甸军队焚烧他们的村庄后,我们可以通过逐日的卫星影像看到村庄被焚毁、工程机械清理废墟的全过程,完全印证了难民的陈述,这种证据效力极强。目前我们已经将这项技术应用于西奈半岛反恐行动、伊拉克北部以及正在开展的尼日利亚东北部调查。更进一步的,我们将卫星影像与人工智能结合:由于影像量远超人工分析能力,我们训练AI识别全球热点地区的日常变化,一旦出现重大变动就通知分析师或现场调查员跟进。这意味着即使我们无法进入现场、被政府阻挠、或环境过于危险,也能观测到大量事件真相,问责政府的不当行为。

四、技术军备竞赛的扩散风险与伦理二元对立困境

主持人提问:除了上述案例,尤瓦尔,你是否见过其他类似的科技向善的应用?

尤瓦尔·诺亚·哈拉里回应:我平时主要关注技术的负面效应,毕竟作为历史学家和社会批评家这是我的职责,技术的正面价值自然会由企业家、CEO和工程师们广泛宣传。举一个显而易见的例子:自动驾驶汽车。全球每年约有125万人死于交通事故,其中绝大多数是人为失误导致的,自动驾驶技术每年有望挽救一百万人的生命,这是非常了不起的进步。同理,人工智能与生物技术的结合,也能为数十亿人提供历史上从未有过的、更优质且更便宜的医疗服务。技术当然有巨大的正面潜力,但历史学家和社会批评家的职责,就是揭示技术背后的风险。我也要回应你之前提到的技术军备竞赛问题:目前在中国等地出现的监控技术发展态势极其危险,军备竞赛心态会放大这种技术的负面效应,并将其扩散到全球。如果中国政府对其民众采取这类监控措施的合法性提升,政府就会把自己包装成与外部敌人的“生死斗争”方,为自己辩护;而美国、欧洲等原本可能没有意愿在国内实施类似政策的国家,一旦陷入不断升级的军备竞赛,陷入“非我即敌、没有中间道路”的二元思维,就会导致这类技术持续扩散。欧洲国家会认为这类技术很可怕,但不能允许自己落后——不仅是在技术层面,更是在经济层面:如果中国的社会信用系统能让企业比欧洲企业更高效地招聘、激励员工、挖掘员工潜力,欧洲企业就会向政府施压,要求允许本国也采用类似系统,否则就会破产、被中国取代。这就是技术军备竞赛逻辑的危险之处。

埃菲·瓦伊纳(Effy Vayena)教授回应:我一直在思考你提到的军备竞赛逻辑,现在的情况确实如此。我参加每一个讨论隐私的会议,都会有人说“要隐私就没有好技术”,把创新进步与人权对立起来,尤其是隐私这一基本人权,我很难打破这种二元对立的叙事。这种对立不仅存在于公共讨论中,也存在于科研机构内部:我所在的理工院校,我和科学家们交流时,大家也普遍认为是“要么创新、要么人权”的非此即彼的选择,完全符合你所说的军备竞赛逻辑——如果我们不做,别人就会做;如果我们不创新,别人就会创新。我想知道,我们该怎么跳出这种二元思维?怎么才能让大家意识到:如果我们尊重隐私、尊重基本权利,那才是我们真正想要的创新,而不是那种方向不明、不知道会走向何方的模糊创新。

尤瓦尔回应:基本的思路是,也许我们最终还是会陷入军备竞赛的困境,但我们现在还没有完全走到那一步,还有时间扭转方向,只是时间不多。我们需要让中国、欧洲、美国等全球各地的人们意识到,大家有共同利益,如果陷入加速军备竞赛,所有人都会受损。“我们必须做,否则就会落后”的逻辑是错误的。我可以举一个历史类比:19世纪时人们也可以讨论要不要让孩子去煤矿工作,你去找英国煤炭巨头谈,他们会说“我们也不喜欢让孩子下煤矿,但德国在这么做,如果我们不做就会破产、被德国取代,你选哪个?”最终人们意识到,不管对英国还是德国来说,让孩子上学而不是下煤矿都更好,甚至对经济也有好处——现在看这显而易见,但1850年时没人觉得不让孩子下煤矿就会在经济或军事军备竞赛中落后。隐私问题也一样,完全侵蚀隐私会付出极高的经济代价,但当我们陷入善恶二元对立的思维时,会觉得没有选择,因为对手在追赶。

五、增强人类:定义、阈值与生物种姓风险

主持人提问:接下来我们讨论“增强人类”的话题。瓦伊纳教授,你之前提到过增强人类的概念,我们现在已经走到那一步了吗?能否先明确一下增强人类的定义?

埃菲·瓦伊纳回答:首先要明确“增强”的定义:如果戴眼镜、戴隐形眼镜就算增强的话,那很多人已经算被增强了,因为能看得更清楚;我自己和在场很多人都曾和感染作斗争,通过增强免疫系统、杀死细菌活到现在,也比被自然选择淘汰的状态更好。现在很多国家的平均预期寿命已经达到85、86岁,远高于之前的45岁,这其实也是人类自我增强的一种。现在的问题是增强的阈值在哪里:我们是把低于正常水平的人提升到正常阈值,还是把已经达到正常水平的人提升到更高的水平?这个阈值是不断变化的。现在戴眼镜、做激光手术这类帮人达到正常阈值的增强,大家已经形成共识是可行的,也在努力让所有人都能获得,而不是只有少数人能享受。但当增强超过正常阈值时,讨论就变得复杂了。现在随着计算技术与生物技术的融合,增强已经到了新的层面,比如基因编辑:如果我们能干预到改变人类核心特征的程度,会怎么样?去年中国科学家尝试编辑婴儿基因,让他们对HIV免疫,这算增强吗?我们不知道这个实验是否成功,还有很多其他风险。如果这是增强,那我们离这个阶段还有多远?但如果展望50年后,很多我们现在定义的广义增强可能会成为现实。

主持人提问:尤瓦尔,你认为对增强人类应该设置怎样的监管,阈值应该划在哪里?

尤瓦尔回应:关键问题在于,哪些技术是帮助大多数人达到正常阈值,哪些是让少数人超过正常阈值,这是两个完全不同的项目。两者之间没有明确的科技分界线,因为很多能帮人达到阈值的技术,也能帮人超过阈值。核心问题是怎么让技术惠及大多数人,否则就会形成生物种姓:少数经过增强的“超级人类”和大量被甩在后面的普通智人。历史上经济不平等很难转化为生物不平等,虽然富人吃得更好所以更高大,但国王的女儿和农民的女儿的基本能力没有本质区别。但如果我们不谨慎监管,50年后人类可能会分裂成不同的生物种姓,这是政治问题,科学家要意识到这种可能性,但最终责任在政府和公民,要思考并阻止这种情况发生。

埃菲·瓦伊纳补充:历史上技术进步从来不是平等分配的,哪怕是帮人达到正常阈值的技术,也不是所有人都能获得,全球还有很多地方的人享受不到这些技术。如果按这个规律,很难想象增强技术会突然平等分配,我对此也很担忧。问题是,我们在决定追求哪些技术项目时,要把这种不平等考虑进去吗?如果一个项目看起来很棒、能满足我们的好奇心、让我们变成“超级人类”,但最终只有少数人能受益,我们还要追求它吗?做技术选择时,不应该由少数人决定,而要把这个考量纳入决策,决定我们要追求哪些创新、哪些技术项目。

六、气候危机的治理困境与公众行动的可能

主持人提问:接下来我们简要讨论气候变化。杜博谢教授,你是知名的环境活动家,曾和年轻人一起上街抗议政客在气候问题上的不作为,你是否相信普通人能成为解决环境问题的推动者?

杜博谢教授回应:是的,普通人完全可以。我完全认同之前大家提到的技术风险,也读过尤瓦尔的三本书,非常认同他的观点,但我的核心关切是气候问题。七年来我一直对气候问题进展缓慢感到恐惧,我也理解尤瓦尔对技术风险的恐惧,我们昨天和家人讨论时想起,阿尔·戈尔在2001年之前是美国副总统,几年后推出了纪录片《难以忽视的真相》,所有人都知道气候问题的严重性,但什么也没发生。但我现在有了新的英雄:去年8月的格蕾塔·通贝里,还有同月的法国青年活动家奥雷莉·阿巴若,奥雷莉·阿巴若10月3日会来洛桑,非常期待。现在我看到变化在发生,这些年轻人说“这不行,我们不接受”,我希望这个运动能强大到拯救我们的气候,而且这些年轻人明确说,不仅要改变气候,还要改变我们的社会,他们说得很坚定。我希望气候运动也能让我们免于沦为被技术操控的奴隶,这就是我的希望。

主持人提问:尤瓦尔,全球合作是解决气候问题的关键,但全球合作进程很慢,国际条约谈成要很久,除了公民社会,还有什么其他解决方案?

尤瓦尔回应:单个国家可以做很多事,而且很多措施并不损害经济,我们要跳出“只有破坏经济才能解决气候问题”的二元思维,如果这是真的那确实没希望,但完全可以同时实现繁荣和更负责任的环境政策。但单个国家的力量有限,除非主要国家的大多数都参与,否则很难避免气候变化和生态危机的最坏后果。这又回到不平等的问题:气候变化对不同国家、不同社会阶层的影响短期来看差异很大,有些国家非常担忧,有些国家甚至对气候变化的方向很满意。我本来想乐观一点,但过去几年世界的发展方向是相反的:2015年巴黎协定是最后可能达成协议的时间点,就像个小奇迹,没有推迟一年,否则就会瓦解,2016年之后世界就走上了相反的方向。我希望我们还能及时扭转,但核心问题是,谈气候问题时可能没有“我们”这个集体,就像谈人类增强时没有统一的“人类”一样:我们说的是不同群体、不同未来,人类可能分裂成不同的生物阶层。气候问题也一样,核心问题是没有统一的人类集体,只有不同未来走向的不同群体。

七、神经机器接口技术的双刃剑效应

主持人:接下来我们进入本次讨论的最后一部分,有请神经机器人专家科蒂纳教授、神经外科专家布洛赫教授(任职于洛桑大学医院,CHUV)上台。

科蒂纳教授回应:我们最近的研究可能会比较有挑战性,基于之前的讨论。首先介绍大卫,九年前大卫做体操训练时出事故,现在大脑给肌肉发信号时被阻断,导致瘫痪。但我们在动物模型里研究发现,脊髓损伤部位下方还有残留的神经连接,只是功能上是沉默的,大鼠无法激活它们走路。过去30年科学家试图生长更多这类神经纤维来恢复行走,但我们完全换了个思路:聚焦于损伤部位下方完全完好、但和大脑断连的脊髓区域,这些区域缺少大脑提供的调控和兴奋信号,无法正常工作。所以我们决定“黑入”脊髓,利用技术优势,用电化学刺激模拟大脑激活脊髓的方式,激活这段脊髓。这是瘫痪的大鼠,打开刺激它就能走,关掉就走不了,打开又能走。然后我们决定对人类做同样的治疗,布洛赫教授的角色是在控制腿部的脊髓区域植入电极阵列,连接到复杂的起搏器,能精准发送刺激脉冲,位置和时间都和大脑的行走意图匹配。这是大卫,治疗初期打开刺激他就能走,关掉就走不了,打开又能走。大卫接受了高强度训练,六个月后他可以通过自己的手表发送指令打开刺激,不用待在实验室里就能走路。但现在的阶段大卫还不能自己控制刺激,所以我们想到直接把大脑意图和刺激连接起来,这是不是科幻?然后我们终于“黑入”了大脑:在大脑控制腿部运动的区域植入电极,记录大脑活动,构建算法识别运动意图,无线连接到脊髓刺激系统。这是临时瘫痪的动物模型,右腿不能动,动物不用训练,只要想着走路,连接数字桥,就能一直走,关掉数字桥就走不了。让我们展望一下2050年的未来:这种技术用在人身上,除了脊髓刺激系统,还有基因疗法、干细胞疗法生长更多神经连接,同样的手术植入脑部电极,解码意图,连接到植入设备,患者可以高强度主动训练,技术最终和中枢神经系统无缝整合,大卫可以自由走到办公室喝咖啡。现在这还是梦想,但15年的研究已经让这个梦想更近了一步,大卫和其他六名之前瘫痪的参与者已经迈出了脚步。我们想问大家:这是人类的进步吗?我们应该继续这个方向吗?

主持人提问:尤瓦尔,这种人机接口技术对人类有什么影响?

尤瓦尔回应:这项研究的初衷非常正面,能给很多人带来快乐和幸福,但让我印象深刻的是,这项技术要生效,需要解码大脑的意图,而这正是“黑客人类”的核心问题:当外部系统可以大规模解码人类大脑的意图时,会发生什么?想想你现在最讨厌的那个政客,如果他有这种技术,能大规模、可靠地解码外部的人类意图,会怎么做?这并不意味着我们要停止这方面的研究,我们不应该、也不可能停止,但意味着我们需要意识到这种技术涉及的巨大政治风险。而且科学家在这类领域工作,部分责任是教育公众,首先要自我教育,了解自己研发工作的社会和政治影响,很多时候在实验室做项目时,只看到眼前要解决的技术问题,要跳出具体项目,思考自己的发现和研发不仅对要解决的具体问题(比如让瘫痪患者走路)有什么影响,对整个社会、政治局势有什么更大的影响,然后教育公众,让政治不要落后于技术进步太多。

八、技术治理的多元路径:软法、公众标准与全球协作

主持人提问:现在技术发展的速度远快于政客和立法的响应速度,差距很大,可能永远追不上,你做的研究怎么解决这个问题?

埃菲·瓦伊纳回应:这项技术非常迷人,祝贺团队,这是帮人达到正常阈值,而不是增强,没什么好反对的。但确实我们的技术发展速度太快,法律体系和社会规范跟不上。但我们不能立刻修改法律,还有其他更灵活的手段可以决定我们要走向哪里。法律是有强制力的,能强制我们做本来不会做的事,但现在我们可以先发展“软法”工具,虽然没有强制力,但能更快成型,我对软法的作用抱有希望,不是天真的希望。现在科学界、工程界,不只是人文领域,很多人都在思考这些问题,想建立伦理标准。在等待法律响应的时候,这些工具是有用的,我们有框架和系统可以至少部分弥合这个差距。挑战在于怎么在全球层面做到这一点,怎么应对不同大陆、不同国家的政治环境和不同诉求。但看生物学和基因编辑领域,很多人都有真诚的兴趣建立标准,现在还没有标准,我们还在辩论要不要做X或Y,但首先要做的是展开辩论、提出问题、在软法阶段就建立标准,等更强的监管出台。

肯·罗斯(Ken Roth)补充:我同意埃菲的说法,法律只是工具之一。举个例子,现在公众期待买到的产品是清洁供应链生产的,即使中间有两三层供应商,也不会有童工、强迫劳动、歧视,但并没有法律强制要求这个,是公众期待、媒体曝光、公民 activism 推动企业遵守比法律更严格的标准,不遵守的企业又蠢又短视,最终会被媒体曝光。所以公众设定标准非常重要。在国家层面法律仍然重要,比如尤瓦尔之前说的,你去银行贷款,法律禁止银行因为你信穆斯林就拒绝贷款,所以我们要加强国家层面的法律,这比达成全球标准容易。但因为尤瓦尔说的军备竞赛,我们需要全球标准。我们学到了怎么达成全球标准:不要强求全体一致,比如人权观察推动的地雷禁令,一开始在联合国因为要全体一致,美国、中国、俄罗斯都不想要条约,所以谈不拢,后来加拿大和挪威主办了一个会议,想要条约的国家去参加,不想去的留在日内瓦谈,最终达成了地雷禁令条约,虽然没被所有国家批准,但一百多个国家批准后,形成了强大的公众期待,给违反者贴标签,即使中美俄都没批准,也不敢用地雷了,儿童兵、集束弹药也一样,现在正在推动完全自主 lethal 武器的禁令。关键是从“愿者同盟”开始,再逐步扩大。但这类议题比地雷难,地雷用了就炸,看得见,但监控系统很多藏在代码和后台,很难发现,所以挑战是怎么在不知道各国在做什么的情况下建立规范,但还是有可能的,靠本地曝光,指出政府违反大多数国家认可的规范,让他们付出声誉代价,这是全球标准的出路,不是强求全体一致。

埃菲补充:不只是政府,强大的企业也要接受同样的监督,现在数据控制和技术发展几乎完全掌握在企业手里,企业的责任也很重要。肯同意,说企业很受公众压力影响,尤其是员工不愿意做违背伦理的事。然后埃菲问:如果我们担心被黑客攻击,是不是应该把数据交给独立的机构,而不是政府或私营企业,实现去中心化,保护个人?尤瓦尔回答:原则上参与方越多,制衡越多越好,但把所有数据交给一个独立机构不现实,谁来定义这个机构的运作?数据是当今最重要的资源,必须反映社会的需求和价值观,不可能完全独立于政府。而且数据不像土地,给了别人就没了,数据可以被无限复制,就算我把医疗记录交给完全信任的机构,也不能阻止其他企业、政府通过黑客攻击或其他 surveillance 手段获取同样的甚至更多的记录。现在 surveillance 技术发展太快,就算你没有智能手机、没有邮箱,你的数据也随时在被收集,你自己根本不知道。

九、康复机器人的研究进展与未来展望

主持人:接下来有请软机器人专家派克教授上台,她今天刚在《自然》发表了最新研究。

派克教授回应:我想讲技术的近期未来,主题是“康复机器人”,不是因为我的实验室叫这个名字,而是确实如此。我读书时想象的未来机器人是像《终结者》那样的,但现在我们讨论的是杀手机器人和瘫痪患者的辅助设备,可能不是最好的例子,但电影影响很大,我不是为了创造下一个终结者,而是想理解在材料和设计上,什么能创造模仿人类运动的系统,比如更像人类的眼睛、更像人类的手,不是为了造杀手机器人,而是理解人类生物力学,做出更好的人机协作设备。我最近的研究之一就是造人形手臂,能做出非常流畅的动作,甚至有力气打翻三脚架,所以电影最后才会晃。但别人看到这个就会问“那它们什么时候能给我做早餐、洗碗、做作业?”答案是:永远不会。就算动作和人很像,它也没有足够的智能理解你要它做什么。所以我意识到这不是机器人或技术的未来方向。下一代能帮到我们的技术和机器人……

三、折纸范式下的可重构机器人设计

传统机器人的设计逻辑是预先明确任务目标,再针对性地优化性能,使其比人类更快、更准、更高效地完成特定工作。但如果任务目标不明确,该设计什么样的机器人才能满足需求?此时只能依赖额外的人工辅助或体力劳动完成工作。研究者从折纸这一高度灵活的设计平台中获得启发:一张纸通过不同的折叠顺序和方式,就能变出各类动物、物品乃至复杂结构。

基于这一思路,团队研发了无需预设任务、可自主感知环境并重构形态的机器人:这类机器人能从平面材料自主折叠为三维形态,比如名为Tribot的机器人可以在平地爬行,遇到崎岖地形时自动切换为滚动模式,遭遇障碍时还能完成跳跃,甚至做出体操动作。同一套硬件和控制器就能支撑它产生不同的步态模式,完全通过和环境交互适配任务需求。这是一个非常简单的案例,但这是一款具备实用价值的机器人:它能够采集感官信息并完成处理,同时还能通过重构身体形态生成不同的步态模式,完全能够适配实际任务需求。

这类机器人也不一定非要基于单张平面材料制造,还可以做成完全模块化的形态:不再依赖固定尺寸的单张基材,而是可以打造多个功能模块——模块分为两类,一类是搭载电机、传感器、微处理器的主动模块,另一类是无源被动关节,二者可以灵活组合。图中展示的是三角形模块,通过像乐高积木一样拼接这些模块,不仅能搭建出不同尺寸的机器人结构,还能打造出可与人类、环境双向交互的各类平台。

四、太空探索领域的核心应用场景

太空领域是这类折纸机器人(Robogami)最核心的应用场景之一:将1公斤任意物资运往太空的成本就高达10万美元,水和食物等必需品的运输成本更是远高于此,我们早已无法承担为单一任务配备专用自动化机器人的成本,必须使用可承担多任务的通用系统。折纸机器人恰好适配这一需求:可以由多个功能模块灵活组合,无需提前明确具体任务,即可辅助宇航员完成工作——这些机器人既能进入星球表面探测,也能完成地表上方的监测、轨道作业等任务,还能作为物理交互平台,和宇航员近距离配合,辅助完成和地面的通信、航天器上的实验等操作。

这类技术并非遥不可及的未来概念:基于同样的折纸平台,还能研发出从柔软形态切换为三自由度的力反馈触觉接口(haptic interface)。大家现在看到的,就是全球最小的指尖力反馈触觉接口,可在用户指尖下方提供力反馈。这个说法有点绕,我明白:所谓指尖下的力反馈,指的是当它和虚拟现实头显配合使用时,用户触摸虚拟物体的感受会非常真实——摸虚拟蓝色球体时能感觉到硬度变化,摸起来就像橡胶球;摸红色球体时能感觉到海绵的松软;一拿起黑色球体,就能立刻感知到它是陶瓷材质的台球。想象一下,用这个接口可以完成远程手术;普通人在线上选购牛油果时,也能通过它感知果实的硬度,判断成熟度。毕竟我们是在瑞士,牛油果的价格可不便宜。这些技术现在已经落地:它们虽然不像影视作品里的杀人机器人那样有冲击力,但能切实提升用户的线上体验。

很多人会问我:“这些机器人外观很酷,但核心应用场景是什么?”这个问题本身已经过时了。我们正处于技术驱动的下一代世界中,机器人早已不再为单一任务设计,也不再针对单一任务优化。我认为下一代机器人的核心定位就是多任务执行,会以高度交互的方式融入我们的生活,而非取代人类:我们完全可以保持自主性,这些机器人会通过和我们的互动,帮助我们维持想要的生活质量。

五、现场互动与核心观点回应

现场观众提问,询问尤瓦尔·赫拉利是否愿意被这类迷你折纸机器人环绕。赫拉利回应:“这取决于机器人的用途。和所有技术一样,它可以被用于各种不同的场景。但和前文的案例一样,真正关键的核心从来不是机器人本身,而是它和人类交互、改变人类体验的能力。比如通过机器人感知远方机械臂的动作,本质是搭建起人类的主观体验与外部客观世界之间的桥梁。一旦这道鸿沟被打破,生物技术革命与信息革命就会深度结合,彻底改变世界的运行逻辑。”

六、整场讨论总结与活动收尾

主持人总结全场讨论指出,当前技术发展速度极快,人类集体时不时都会感受到无力感,当下最需要做的是重新建立至少某种程度的掌控感,整场讨论提出了两个核心路径:其一是普及科技教育,教育目标不能局限于算法知识本身,更要让公众掌握驾驭技术工具的能力,赫拉利提到的拍摄好莱坞商业片、撰写儿童科普读物都是触达公众的有效方式,我们需要向更多人解释这些技术的本质、能力边界,以及必须要警惕的风险;其二是推动全球合作,这一点比以往任何时候都重要,没有任何一个国家可以单独应对这些共同挑战。最后一点也很有意思,作为一所理工类院校的闭幕陈词,今晚提到了人文科学是连接技术与公众的桥梁。我认为在EPFL的校园里,我们也需要越来越多地思考这一点:我们精通技术,但也应该成为搭建这道桥梁的参与者,让技术真正成为赋能所有人的力量。

主持人随后感谢了到场嘉宾、活动的赞助商与合作伙伴:包括Banque Landolt银行、Sigma公司、Frontiers公司的卡米拉·马克拉姆、新学校(Ecole Nouvelle)、游牧者基金会(Nomads Foundation)、CXIO基金会、Julius Baer银行、洛桑皇家萨沃伊酒店(Hotel Royal Savoy)、洛桑豪华轿车服务等,同时邀请有意参与后续活动的观众访问活动官网mfound.org,加入组织成为赋能成员,和我们一起推动相关公共讨论的开展——正如我们今晚所讨论的,如果相关讨论只停留在我们这个小圈子里,没有人能引领未来的方向。如果你希望参与更多类似活动,也可以通过官网申请加入。最后主持人宣布活动结束,现场响起掌声。