F's Blog
返回 Harari的演讲&对话
Harari的演讲&对话··fish

尤瓦尔·诺亚·赫拉利和特里斯坦·哈里斯接受《连线》杂志采访

一、访谈开场与嘉宾介绍

《连线》(Wired)杂志主编尼古拉斯·汤普森开场介绍,本次对话的两位嘉宾是他极为推崇的思想者:尤瓦尔·赫拉利(Yuval Noah Harari)是《21世纪的21堂课》等三本畅销书的作者,该书本周刚出版,他本人当天早上刚刚读完,认为内容极具启发性;特里斯坦·哈里斯(Tristan Harris)是“人性化科技(Center for Humane Technology)中心”的创始人,正是他率先在全球范围内推动了“时间值得度”的相关讨论。 汤普森表示,《连线》杂志创刊于25年前,彼时的核心主张是拥抱乐观主义与技术变革,认为技术与进步本身是善的。但25年后的今天,这一理念已经无法完全解释当下的世界,因此本次对话将围绕两位嘉宾的核心关切展开。 随后两位嘉宾做自我介绍:特里斯坦·哈里斯介绍自己是人性化科技中心的主任,核心工作是将技术的设计逻辑与清晰的人类本性模型对齐,此前他曾任谷歌设计伦理师,研究人类说服行为的伦理问题。尤瓦尔·赫拉利表示自己是历史学家,致力于理解人类从何处来、向何处去。 两位嘉宾的相识颇具戏剧性:2018年两人受邀参加智利政府主办的“未来大会”,其中一项行程是前往智利在南极的科考站实地观察全球变暖的影响,同行的还有迈克尔·桑德尔等哲学家、诺贝尔奖得主。特里斯坦笑称这段经历有点像“真人秀”,两人也因此结缘。

二、核心共识:人类心智远非我们想象的自主

汤普森指出,两位嘉宾的研究领域、讨论议题看似不同,但存在一个核心共通点:人类心智的运作方式远不如我们想象的自主,我们对心智的掌控力远低于自身的认知。他邀请特里斯坦首先就此展开分享。 特里斯坦坦言,自己很多相关认知都来自早年当魔术师时的经历:他发现人类心智存在普遍的、可被利用的漏洞,这些漏洞不受学历、年龄、知识背景的影响,就像魔术对所有观众都有效。后来他在斯坦福大学的“说服技术实验室”工作,教学生如何将说服原理应用到技术产品中,通过操控人的感受、态度、信念和行为来提升用户留存。他认为,人类心智并不是我们以为的那个“不可入侵、不可操控的最高权威圣殿”,如果我们继续把它当成完全自主的领域,就会忽视它需要被保护的事实。 尤瓦尔对此表示完全认同:我们现在面临的不仅是技术危机,更是哲学危机。当代自由民主制、自由市场等社会制度,建立在18世纪的哲学理念之上,这些理念不仅与21世纪的科学研究结论相悖,更与我们当下掌握的技术完全不兼容。我们的社会默认“选民最懂自己的利益”“顾客永远是对的”“人的感受与选择是最高权威”,其底层假设是人的感受、选择是神圣不可侵犯的领域,无法被黑客、无法被操控,最终我的选择、我的欲望都反映我的自由意志,没有人能触碰。但这个假设从来都不是真的,只是在19世纪和20世纪,我们没有足够的技术去大规模操控人的心智,所以大家没付出太高代价。而21世纪最核心的事实是:我们已经掌握了操控人类的技术,部分企业、政府甚至个人已经获得了黑客人类的能力。

三、“黑客人类”的内涵与技术代差

汤普森提问:究竟什么是“黑客人类”?这和100年前宗教、书籍等影响人类认知的手段有什么本质不同? 尤瓦尔解释:黑客人类,就是精准理解你身体、大脑、心智层面的运作机制,从而预测你的行为、感知你的情绪,进而实现操控、控制,甚至替代你的选择。当然这种操控不可能做到100%完美,100年前也能做到一定程度的认知影响,但现在的技术代差是巨大的:核心区别在于,操控者可以比你自己更了解你。那些试图黑客人类的算法永远不可能完美,但你不需要完美,你只需要比普通人的自我认知更精准就够了。 汤普森追问:我们现在已经达到这个程度了吗?尤瓦尔表示特里斯坦可能比他自己更清楚当下的现状,但就算现在还没到,我们也正在快速接近这个临界点。 特里斯坦举了YouTube的例子作为佐证:你有没有过这种经历:午休时打开YouTube想只看一个视频,结果回过神来已经过了3小时,看了两三个视频,完全被吸进去了?你以为这次会和之前不一样,但结果还是一样。这是因为你根本没意识到,你面对的是一个价值数十亿美元的超级算力系统:它分析了历史上所有能让20亿人类点击“下一个视频”的内容,比你自己更懂怎么对你的心智走最优解。你可以把你的心智想象成一个棋盘,你以为自己知道该走哪一步(“我就只看这一个视频”),但你只能看到有限的几步,而背后的算法已经模拟了数十亿次人类刷YouTube的场景,它知道怎么赢。就像当年国际象棋世界冠军加里·卡斯帕罗夫输给IBM的超级计算机“深蓝”一样——卡斯帕罗夫能在棋盘上看到很多步,但深蓝能看到他看不到的终局,那是“人类 vs 机器”的终极对局,因为卡斯帕罗夫代表了人类棋手的最高水平。当然不是说我们现在完全失去了自主权,不会一打开YouTube就被算法控制一辈子,但互联网上的每一个选项背后,基本都有一个超级计算机在和你下棋,它一定会赢,因为这是个有赢家的游戏。 主持人追问:那这个“游戏”的规则到底是什么?如果游戏的目标是帮助用户找到真正需要的内容,那算法显然是正向的。特里斯坦指出,问题就在于现在的算法根本不关心你想要什么,它只关心怎么让你留在屏幕上。

四、算法操控的现实案例与民主危机

特里斯坦分享了YouTube推荐系统的内部研究结果:我们有在YouTube工作的工程师做过调研,发现推荐系统存在系统性的偏差:如果给一个想搜节食视频的少女推荐内容,最能让她一直刷下去的不是温和的节食内容,而是厌食症相关的极端内容——因为算法会在“温和内容”和“极端、猎奇、煽动性内容”之间选择后者,因为后者更能留住用户。如果用户搜的是911新闻事件的事实类视频,自动播放的下一条会是阴谋论者亚历克斯·琼斯的相关内容。更可怕的是,这套系统可以被恶意操控:比如政府可以投放几千个无头浏览器(模拟Firefox浏览器)去刷特定视频、跳转到特定内容,伪造用户行为数据,让特定内容成为热门推荐。比如现在搜索“尤瓦尔·赫拉利”,恶意行为者可以安排几千台电脑模拟用户从看尤瓦尔·赫拉利的视频跳转到看普京相关的视频,这样普京的视频就会成为顶部推荐。 也就是说,这套系统已经失控了,算法在决定20亿人每天的时间分配:70%的YouTube观看量来自算法推荐,用户以为自己的选择是主动的,其实70%的内容是算法推送给你的侧边栏推荐。YouTube有19亿用户,比伊斯兰教、基督教的信徒总数还多,用户平均每天刷60分钟,其中70%的时间都是算法决定的。这套系统就像失控的“数字弗兰肯斯坦”,在不同地区推送极端内容,比如缅甸、斯里兰卡的911阴谋论,根本没人监管这些内容的影响。 尤瓦尔接话指出,如果继续抱着“人的选择不可被操控”的18世纪幻觉,认为只要把决策权交给人的感受和选择就可以,民主很快就会变成“情绪木偶戏”。这是哲学贫困的后果:我们理所当然地沿用18世纪的哲学理念,没有用21世纪的科学发现更新它们。但问题是,人们不愿意接受这个真相:他们不想承认自己是可被黑客的动物,不想承认自己的选择、欲望、自我认知、最真实的渴望都可能被操控。比如他甚至开玩笑说,自己的杏仁核(大脑的情绪中枢)可能在为普京工作,他不想承认这一点,不想相信自己的恐惧不是自己产生的,是被人植入的,自己的选择不是自由意志,是被人操控的。

五、应对路径:个体觉醒、技术规则与制度重构

汤普森提问:从尤瓦尔第一本书的内容来看,人类心智被黑客化似乎是技术发展的必然,但走向阴谋论、民主崩溃的负面结果不是必然的,我们现在是不是已经到了不可逆的临界点?如果还没到,怎么避免?关键决策点是什么? 尤瓦尔首先回应:没有任何结果是必然的。技术本身会继续发展,我们不可能停止所有AI和生物技术的研究,而且现在大家对AI的关注太多了,其实生物技术更重要——因为要黑客人类,需要的是生物学知识,很多设计算法的专家都有心理学、脑科学背景,这些领域的突破才是核心。但技术本身没有善恶,我们可以用技术做不同的事:现在AI主要被用来监控个体,服务企业和政府的利益,但也可以反过来,用同样的监控系统监督政府,比如监控官员是否腐败,技术本身是支持这种用法的,关键是我们有没有意愿去开发相应的工具。 随后尤瓦尔举了非侵入式生物识别技术的例子:现在不用戴传感器,只要用普通摄像头对着人的脸,就能通过微小的面部血液脉冲测出心率、压力水平,通过瞳孔扩张判断认知负荷(比如你在理解复杂内容时瞳孔会扩张,觉得简单时会收缩)。还有研究者发现,只要看用户的点击行为模式,就能以80%的准确率判断出他的大五人格特质,不用再让他填问卷。也就是说,“扑克脸”已经消失了,我们隐藏情绪、隐藏人格特质的空间越来越小。如果把这些技术结合起来,实时根据你的心率、瞳孔数据、人格特质调整政治宣传内容,这就是一个反乌托邦。当然技术也有好的一面:比如课堂上用来判断学生没听懂内容,谈判时用来识破对方的伪装,外交场合用来判断谈判对手的真实情绪,但如果双方都有这种技术,就会变成军备竞赛,我们完全不知道该怎么应对。 尤瓦尔分享了自己的个人经历佐证风险:他21岁才意识到自己是同性恋,之前五六年的自我认知里完全没意识到这一点,他一直在想,怎么可能连这么重要的事都意识不到?后来他想到,如果当时有个算法,只要跟踪他看东西时的眼神方向——比如14岁时在海滩看穿泳装的男女,眼神往哪边看——就能轻易识破他的性取向,比他自己还早7年知道。更可怕的是,如果可口可乐先发现了这个规律,给他推有肌肉男的广告,他第二天去超市就会买可口可乐,还以为是自己的自由选择,其实已经被黑客了。 这就涉及到一个核心问题:如果系统对你自己的了解程度远超过你对自己的了解,我们通常把这种关系叫做“信托关系”——比如律师、医生、心理治疗师知道你的隐私信息,但他们有职业伦理约束,不能利用这些信息伤害你,否则会被吊销执照。但现在你在街上走,不知道有多少摄像头在拍你,不知道谁在收集你的数据,不知道他们会用来做什么,没有信托关系,没有监管。就像有个神父在告解室听20亿人的忏悔,同时监控你的一举一动、你点的广告、你和别人的聊天记录,然后他的商业模式是把告解室的内容卖给第三方,用来操控你,Facebook就是这样的存在。 汤普森提问:你更担心企业还是政府掌握这些数据?尤瓦尔回答:到了一定程度,谁掌握数据谁就是掌权者。哪怕还有正式的政府,如果数据掌握在企业手里,企业想要的话就能决定选举结果,所以本质上没有区别。我们需要设计新的政治经济制度,避免数据权力过度集中在不受监管、不透明的政府或企业手里,让这些机构不能随意使用数据,必须对公众透明、对公众负责。 特里斯坦补充强调,我们不是要告诉大家“人类完蛋了,已经进历史垃圾堆了”,而是要让大家意识到这是真实发生的,我们可以做点什么。比如接下来的选举里,每次候选人见选民、上电视辩论,都可以问他们“你怎么看待算法操控人类心智的问题?你有什么应对方案?”如果候选人说“我不知道你在说什么”,那就是个巨大的危险信号。现在政策制定者比去年懂这些了,比如之前扎克伯格的听证会和推特CEO多西的听证会对比,就能看出来进步,但还远远不够。而且现在还有很多我们不知道的、可以被用来操控我们的信号,很多操控者已经发现了,但我们还没意识到,怎么监管这些未知的风险? 特里斯坦提出三个需要优先规范的层面:第一是超级计算机本身:它的规则是什么,能做什么不能做什么;第二是数据收集的规则:什么数据能收集,什么不能,怎么存储;第三是人的层面:怎么训练自我觉察能力,怎么应对这种操控。 关于个体能做什么,特里斯坦和尤瓦尔一致认为:首先是自我觉察,知道自己是可被黑客的,但这远远不够。我们进化了数百万年的心智反应,比如恐高、比如哪怕你知道对方在拍你马屁,你还是会感到开心,这些反应不会因为你知道就能消失。所以第一步是承认自己的脆弱性,然后努力更了解自己——这是一场赛跑,以前只有你和你妈最了解你,现在有企业、政府跑在你前面,快要比你更了解你自己了,你要跑得更快。冥想、心理咨询、运动,任何适合你的方法都可以,因为“认识你自己”这个最古老的建议,以前没有竞争对手,现在有强大的竞争对手,你必须更努力。 但个体不能只靠自己:如果你真的关心这个问题,就加入一个组织,50个人一起行动的力量远大于50个单独的个体。然后还要回到政治层面,推动监管规则的制定,因为这不是个人能解决的问题,是整个社会的问题。比如青少年用社交媒体,就算你自己不用,你的社交机会、社交关系都在上面,你没法脱离整个社会网络独善其身,所以必须从制度层面改变整个行业的规则,而不是只靠个人设置灰度模式、关通知这种个体层面的应对。 最后尤瓦尔总结,我们需要彻底重构世界观,不能再依赖18世纪的启蒙理念,哲学其实是现在最重要的学科之一,它能帮我们理解什么是我们真正珍视的人类认知过程,什么是我们不想被替代的。比如斯坦福大学教授劳伦斯·菲什伯恩的研究发现,如果随机抽一群人到酒店待两天,听专家讲解不同议题,他们的观点会从极化走向共识,这种“审议民主”的过程,是我们想要保留的人类认知过程,而不是那种被算法操控的、孤独的、被负面信息轰炸的人做出的选择。技术设计者需要问自己:我们想要实现什么价值?比如YouTube推荐尤克里里视频的时候,如果知道用户是真的想学尤克里里,应该推荐他身边同样会尤克里里的朋友,而不是无限推送更多尤克里里视频;如果知道用户看节食视频不是想变成厌食症,就应该推荐健康的饮食内容,而不是极端内容。现在的算法只关心“用户停留时长”这个指标,根本不关心用户的真实福祉,我们需要把“人的福祉”而不是“用户参与度”作为设计的核心指标。

三、技术服务的核心导向与“大脑防病毒”方案

技术系统本身可以为人类创造巨大价值,关键在于调整其服务对象,使其服务于人的利益,而非企业或政府的利益。既然我们已经意识到人类大脑可能被技术入侵,就需要像计算机拥有防病毒软件一样,为大脑研发对应的防护机制。这种机制可以基于同源技术实现:例如打造一个全天候24小时监测用户所有行为(包括输入内容、浏览记录等)的AI助手,该助手以用户利益为唯一信托责任,通过充分了解用户的弱点和认知偏差,帮用户抵御其他主体对用户的入侵和剥削。比如用户如果存在过度沉迷搞笑猫咪视频的弱点,明知浪费时间却无法控制点击欲望,AI就会在相关视频弹出时进行干预,提示用户正有人试图入侵其认知系统;如果用户存在对特定群体或政治人物的偏见,容易相信极端荒谬的谣言,AI也会识别到这种偏差,在相关内容出现时发出提醒。这套机制的核心是完全中立,不服务于任何外部实体,只针对用户自身的弱点和认知漏洞提供保护。

四、AI伦理设计的落地路径:从个体服务到系统层嵌入

尤瓦尔·赫拉利首先从哲学层面指出,这套AI防护机制的核心前提是建立关于人类脆弱性的认知框架:需要明确哪些是用户的弱点、哪些是用户的正当偏好,这背后需要人类发展心理学的支撑。比如13岁青少年正处于身份认同建构、自我探索的关键阶段,容易产生不安全感,此时如果算法给其推送饮食失调相关的内容,就会对其造成严重伤害。理想的算法设计应该由资深的儿童发展心理学家参与,而非仅由年轻的技术工程师从技术可行性或商业收益角度判断内容推荐逻辑——整个人类技术设计的核心逻辑,应该是我们先向自身照镜子,充分认知人类的脆弱性,再从我们容易受到的伤害出发设计技术。 特里斯坦·哈里斯对此表示认同,同时补充了落地的现实要求:我们当下讨论的并不是什么科幻场景,而是正在发生的现实,因此如果我们要真正推动技术向善,就不能把AI助手做成只有富人才能负担得起的可选服务,而应该嵌入到操作系统的基础层,成为所有用户的默认配置,可通过政府资助或对企业补贴实现普惠性,确保其信托责任真正服务于用户的线下实体生活与社区联结。此外,还要从教育端嵌入伦理要求:当前计算机科学专业的课程中几乎没有编码伦理、技术哲学相关内容,学生可以只懂技术逻辑、只从经济收益角度设计算法,却不需要考虑技术对用户和社会的影响,这是极不负责任的,必须将伦理课程纳入计算机专业的必修内容。 针对平台商业模式的固有矛盾,哈里斯进一步指出:如果算法发现用户离开屏幕、进行线下社交更符合其利益,平台出于商业利益考量并不会鼓励这种行为,因为这会减少用户的在线时长和广告收益。因此需要推动平台转型商业模式,例如Facebook可以从当前的广告模式转向微支付模式,甚至探索区块链相关的交易场景,组建专门以公共利益为目标的算法团队,调整内容推荐逻辑,优先推荐符合用户长期利益、而非短期注意力刺激的内容。

五、技术治理的核心矛盾:从商业伦理到全球公共议题

主持人提问:你之前提到如果算法判断用户应该离开屏幕进行线下社交,平台却不会鼓励这种行为,因为会损失商业利益,同时苹果、谷歌作为操作系统层应该承担怎样的责任?另外,你曾提出广告模式是需要解决的核心问题之一,你是否认同这一判断? 赫拉利回应称,广告模式确实是问题之一,但人类面临的技术威胁远不止于此:20年前全球最聪明的一批人都在研究如何让用户点击广告,这些方法最初用于推销内衣、墨镜、加勒比度假等商业产品,后来被恶意篡改并武器化,如今已经被用来推销政治观点和意识形态,甚至完全不在硅谷科技公司的控制范围内。就算谷歌和Facebook彻底放弃这套操控模式也无济于事,因为这些技术手段已经扩散,潘多拉魔盒已经打开,其他国家和企业早已掌握了这些方法。 哈里斯对此表示完全赞同,并进一步指出:要解决这个问题,不能只靠科技公司的自我约束,必须推动全球层面的共识与合作。就像19世纪英国废除奴隶制时,奴隶制曾经支撑着整个全球经济,直接废除会导致经济崩溃,英国不得不每年拿出2%的GDP,持续60年才完成转型——我们并不将广告模式等同于奴隶制,但两者的经济结构相似,直接废除当前的广告模式也会引发巨大的经济震荡,需要漫长的转型期。只是当前技术带来的威胁比历史上的转型更紧迫,需要更快的推进速度。英国当年能够推动奴隶制全球废除,正是将问题上升为全球人权议题,最终形成了国际共识,当前的技术治理问题也需要同样的路径:将保护人类认知自由、避免技术剥削上升为全球性的公共议题,推动所有国家共同遵守规则。 赫拉利进一步补充了当前全球治理的核心风险:除了威权国家可能利用算法管控民众外,全球正在兴起的AI军备竞赛更是巨大的威胁。短短几年前AI军备竞赛还不存在,如今已经成为全球多国的核心战略优先级。一旦进入军备竞赛逻辑,就会迅速陷入“囚徒困境”:没有任何国家愿意主动研发杀人机器人、舆论操控算法等违背伦理的技术,但为了不被掌握相关技术的竞争对手超越,所有国家都不得不被迫跟进,最终形成逐底竞争。这种竞争和高频交易类似:参与者比的不是谁创造的社会价值更高,而是谁更能突破伦理底线、更快地操控人类认知,最终导致社会陷入混乱。要避免这种结局,必须主动放慢技术发展的节奏,匹配人类做出深思熟虑决策的节奏,推动全球合作监管AI与生物技术的发展,但当前全球合作的趋势恰恰是相反的。

六、当前行业的现实进展与未来展望

主持人提问:过去一年科技行业普遍提出“时间花得其所”的理念,相关讨论也引发了大量关注,你认为当前行业整体是朝着正确的方向发展,还是依然在走偏? 哈里斯回应称,硅谷内部确实正在朝正确方向转变:科技从业者逐渐意识到自身掌握的巨大技术影响力,以及技术对政治、社会的深远影响,尽管很多人尚未找到具体的解决方案,但至少已经迈出了认知问题、承担责任的第一步。但目前的相关举措(比如限制用户使用时长)只是治标不治本,没有触及算法操控思想、青少年心理健康恶化等核心问题——过去八年美国少女自杀率已经翻倍,青少年群体的异化感和心理健康问题日益严峻,这些问题的解决需要全面的行业重构。 赫拉利补充称,当前全球层面的治理形势十分严峻:相关讨论目前仅局限于硅谷内部,部分威权国家没有选择空间,用户必须向政府主导的算法提交全部个人信息,完全服从算法的指令,这是和自由市场完全不同的治理逻辑,远远不足以应对全球性的技术风险。

七、面向未来的行动建议与总结

主持人提问:对于一个18岁的年轻人来说,他可能刚看完极端阴谋论内容、顺着平台的推荐算法越陷越深才看到这个访谈,希望毕生推动人机关系向善、避免技术剥削人类,你会给他什么建议? 哈里斯给出两点建议:第一,要充分了解自身的弱点和认知偏差,尽可能消除对自我的幻想,不要将脑海中冒出的每一个想法都等同于“自由意志”的产物,要对自身的冲动和欲望保持反思;第二,不要试图单打独斗,个人力量十分有限,加入致力于推动人性化科技的社会组织是更有效的行动路径。 赫拉利补充称,我们需要从18世纪基于“理性人”假设的人类认知模型,转向21世纪基于对人类认知漏洞认知的新模型,推动一场全球性的社会运动,共同调整技术发展的方向。他同时强调,当前没有人真正愿意看到技术剥削人类的反乌托邦未来,没有人会主动追求这种结局、维持现有做法,问题只是我们能否凝聚共识,朝着共同期望的方向努力——不需要有人提出完美的终极方案,只需要我们共同偏离当前错误的轨道,就有希望扭转趋势。 访谈最后,主持人总结称,本次对话覆盖了人类面临的最严峻的挑战之一,两位嘉宾都提供了极具洞见的思考,对观众理解人机关系的未来具有重要价值,并向两位嘉宾表示感谢。