F's Blog
返回 Harari的演讲&对话
Harari的演讲&对话··fish

尤瓦尔·诺亚·赫拉里(Yuval Noah Harari):关于技术与民主的未来的小组讨论

雅典民主论坛:科技与民主未来专题讨论会整理稿

一、论坛开场与嘉宾介绍

主持人亚历克西斯·帕巴切拉斯(Alexis Pabachelas)开场欢迎与会者出席雅典民主论坛,介绍本次讨论的三位嘉宾:尤瓦尔·赫拉利(Yuval Noah Harari)是全球知名思想家;布拉德·史密斯(Brad Smith)是微软总裁,属于全球科技界有影响力的商业领袖;克里斯汀·戴维斯(Kirsten Davis)是Sentinel.ai(哨兵人工智能)创始人,同时也是《纽约时报》资深从业者,长期奋战在民主实践一线。

二、民主的当代风险:技术带来的前所未有的威胁

主持人首先向尤瓦尔·赫拉利提问:当下民主是否面临威胁?赫拉利首先指出,民主从来都是脆弱的存在:独裁政权如同杂草,几乎在任何环境下都能生长,对生存条件要求极低;而民主是珍稀花卉,需要大量前置条件才能存续。人类历史上直到很晚才建立起大规模民主政体,农业革命后的大部分时间里,民主仅能存在于雅典这样的城邦等小型共同体中,因此任何时代都需要警惕民主的存续风险。 主持人追问:在技术尤其是社交媒体快速迭代的当下,民主是否处于格外危险的历史节点?赫拉利给出肯定答案:人类正面临前所未有的全新威胁。一是技术首次让完全新型的极权政体成为可能,即“数字独裁”:历史上首次可以实现对全体民众的全时段监控,这在苏联、纳粹德国都是无法实现的;二是历史上首次,外部系统可能比个体自身更了解自己,这对人类自由构成了前所未有的威胁——斯大林不可能比任何一个苏联人更了解他自己,但如今这已经成为可能。 布拉德·史密斯补充认同民主的脆弱性,他认为当下民主的脆弱程度可能是1930年代以来最严重的,技术是重要诱因之一。他提到乔治·奥威尔撰写《一九八四》时只犯了一个错误:书名应该叫《2024》而非1984,他预见到了大规模监控的未来,只是比实际发生早了40年。如今的技术确实可以实现他设想的大规模监控,甚至超出他的想象——系统可能比个体更了解自身,这是非常危险的信号。 克里斯汀·戴维斯补充称,这确实是民主面临的现实威胁,但当下人们的目光往往局限于欧美等传统民主堡垒,以及75年前建立的国际制度,却忽略了正在重新定义民主的新实践。她以爱沙尼亚为例:这个国家更贴近地缘威胁,过去20年经历了诸多挑战,因此反而利用技术重构了政府和公共服务体系,打造了更有能力的公民社会,这些现成的解决方案和最佳实践值得全球借鉴,而非只盯着传统模式。

三、科技行业的责任:自我监管无法替代政府立法

主持人指出,从美国伊利诺伊州的小城皮奥里亚到希腊北部的村庄,全球各地都出现阴谋论泛滥、民众对媒体、政府等权威支柱信任崩塌的现象,他问布拉德·史密斯,作为科技公司领导者是否对此负有责任?布拉德回应:科技行业负有不可推卸的重大责任。技术本身是中性的,其用途是好是坏,取决于使用它的人,它既可以成为工具,也可以成为武器。 主持人追问:科技行业一直在推动内容领域的自我监管,比如打击仇恨内容,这足够吗?还是应该进入政府监管的阶段?布拉德回应:商业史上没有任何一个行业能完全实现自我监管。社会既期待企业承担社会责任,也需要政府通过立法设定底线,确保即便是不愿主动承担社会责任的企业也符合基本标准。当下确实需要更多法律法规和监管框架,但这不能成为企业推卸责任的借口——不能因为监管尚未落地,就无所作为,等着政府出台规则。全球不可能所有政府都出台符合人权标准的监管体系,因此需要企业和政府双管齐下:企业要守住高标准,政府也要加快行动节奏。 尤瓦尔·赫拉利补充:没有任何主体做得足够好。政府应承担首要责任,企业当然需要做得更多,但最终责任在政府。部分地区的政府没有采取行动,是因为他们乐于见到当前局面的发展,另一些地区则是没有意识到危险信号,但归根结底这是政府的职责。

四、阴谋论蔓延的根源与公众触达路径

主持人转向尤瓦尔,提到他在著作中提出过“无用阶层”的概念,问他是否正是这些在技术迭代中感到自身无用的群体,更容易相信阴谋论、不信任权威体系?赫拉利回应:阴谋论从来不是新鲜事物,当下的情况其实比人类历史上大部分时期都要好。比如黑死病时期的阴谋论直接导致了针对犹太人的屠杀,比当下的阴谋论危害大得多。每当新的传播技术出现,阴谋论就会获得新的传播渠道:15至16世纪欧洲印刷术普及后,当时的畅销书不是哥白尼、伽利略的学术著作,而是《女巫之锤》这种教人识别、猎杀女巫的指南;20世纪的纳粹主义本质上也是一种阴谋论,它掌控了一个国家,引发了史上最惨烈的战争。 赫拉利进一步解释,阴谋论在历史上长盛不衰的核心原因是它们简单且令人受用:真相往往复杂且痛苦,比如美国政客如果在大选中向公众坦白美国历史与现状的全部真相,百分百会落选,以色列、印度、意大利等国也是如此,没人真的想了解关于自身的痛苦真相。而且理解复杂事物本身门槛很高,比如哪怕不讨论疫情,仅仅解释“病毒是什么”——它不是生物,只是一段能入侵人体的代码——就已经足够复杂,相比之下相信“一群亿万富翁在实验室里制造了这场疫情,企图掌控世界”就要简单得多。 主持人追问:我们往往只关注自己所在的信息茧房,看不起相信阴谋论、沉迷极端信息源的人,但这些人根本不看《纽约时报》《加德满都邮报》,也很少看主流新闻,我们该如何触达他们,让他们意识到阴谋论是错的?克里斯汀·戴维斯回应:这确实是核心问题,她所在的Sentinel.ai组织致力于检测深度伪造内容、保护媒体与民主,除了和政府、企业合作,现在也在探索如何向公众普及相关知识。她认为关键在于换位思考,站在对方的视角思考“这件事对我个人意味着什么?会对我造成什么影响?我该如何意识到风险?该如何应对?我能做什么?”当下很多青年组织和公民组织正用这种“从个体出发”的思路应对民主挑战,这比部分机构、政府的自上而下式说教健康得多。她认为需要赋权民众,正在和学术界、教育机构、公民组织合作推动公众教育。 布拉德·史密斯补充:这要回到民主的本质,雅典民主的基础是全体公民直接参与公共讨论,2300年后的早期美国民主最初仅赋予极少数人投票权,经过两个半世纪的扩展才实现普选。技术始终是领导人扩大和民众沟通渠道的工具:1860年林肯当选,部分得益于电报的普及,让他能向全国传播废奴理念;罗斯福借助广播走进民众客厅,带领美国走出大萧条、应对二战;肯尼迪、里根则精通电视传播;2016年特朗普很好地利用了社交媒体。这提醒我们两点:一是政府本身需要产出优秀的领导力,没有其他主体能替代,领导者要能利用当下的传播媒介和更广泛的民众建立连接,而非只服务于小众群体;二是要反思技术的组织和管理方式,当下最大的问题是技术把我们重新推回了相互隔绝的信息茧房——之前的传播技术虽然可能引发激烈争论,但至少所有人讨论的是同一件事,现在我们需要让技术促进共识性的公共讨论,而非制造一个个孤立的传播 silo。

五、深度伪造等新型技术风险的应对思路

主持人问:机器学习等技术能否帮助修复技术造成的伤害?比如算法曾经助推了错误信息传播,能否在平台中嵌入检测深度伪造、错误信息的功能?布拉德回应:技术当然可以提供大量解决方案,以深度伪造为例,机器学习确实可以越来越广泛地用于检测深度伪造内容,但仅靠这一手段永远不完美,因为这又会变成一场“猫鼠游戏”。更根本的解决方案是建立系统性的技术标准,比如微软已经在推进更安全的媒体溯源系统,让《纽约时报》发布的内容、视频更难被篡改,这需要系统性的技术路径。而且要把问题拆解开来逐一解决:深度伪造问题涉及内容生产者、传播者、受害者三个环节,需要全链条应对,联合国教科文组织和国际电信联盟的报告就提出了11种不同的应对路径,不能只解决其中一个环节,要 holistic 地处理问题。

六、科技伦理教育:从工程师培训到全民终身学习

主持人转向布拉德,问他是否在微软的招聘和培训体系中有面向工程师的伦理课程?就像医生执业前必须接受伦理教育,如今计算机工程师是最重要的社会塑造者,他们写的每一行代码都在塑造社会、影响人类生活,是否需要在工程师培训中内置伦理教育?布拉德回应:微软已经在开发人工智能伦理准则。他首先认为这个问题极其关键,极具讽刺意味的是,如今在美国,要从军事学院毕业必须修读伦理课程,但从美国前十的计算机科学专业毕业却不需要修读任何人工智能或计算领域的伦理课程。他对这个领域持乐观态度,过去几年相关进展的势头正在快速提升:2018年微软就定义了人工智能的六大伦理原则,包括公平性、避免偏见、隐私保护、安全、包容性、透明度、问责制,现在已经建立了完整的工程师培训体系和工程实践标准。全球范围内最令人鼓舞的是,各方正在这些伦理原则上形成共识。但他也强调,这仅仅是第一步,只是回答了第一轮问题,还有很多需要学习的内容要纳入培训体系。他相信到2030年,全球计算机科学专业的毕业生都将必须修读这类伦理课程,年轻一代已经意识到,他们要做的是造福世界的事,而不是编写中立的代码。他提到微软不需要等10年,明天就可以做出决定,要求所有新员工入职6个月内必须完成公司提供的伦理课程,同时也在鼓励大学尽快将这类课程纳入培养体系。 主持人问他推荐计算机工程师读什么书?他首先提到凯西·奥尼尔的《算法霸权》(*Weapons of Math Destruction*),还有肖莎娜·祖博夫的《监控资本主义》(*Surveillance Capitalism*)。主持人问有没有经典著作?他笑着说毕竟在雅典,当然要读柏拉图、亚里士多德的哲学著作。他进一步解释:当下最有趣的是,几千年来属于哲学系的问题,正在迁移到计算机系。哲学家非常耐心,可以就自由意志争论2000年而无结论,这没问题;但工程师要在两年内把自动驾驶汽车开上路面,等不了哲学家。因此需要的不是几项人工智能伦理原则,而是整套的哲学和伦理思辨框架:比如设计银行的贷款审批算法,决定给谁放贷、不给谁放贷,这直接影响人的生活,算法中可能无意中嵌入大量偏见,而且算法的决策逻辑和人类完全不同,越来越多人类无法理解的决策将由算法做出——如果银行拒绝你的贷款申请,你问原因,银行只能说“算法决定的,我们也不知道”,哪怕给你看数百万页的数据你也无法理解。因此干预的节点必须在算法设计阶段,这需要的不是几项原则,而是来自哲学和伦理学的整套思维框架,而非单纯的工程思维。 主持人追问:你相信行业会主动推进这些改变,还是最终需要政府介入?布拉德回应:最终这必须是政府的职责,就像政府可以立法要求医生执业前必须修读特定课程一样,也可以对计算机科学家做出同样要求。当然如果行业明天就主动推进更好,因为政府的行动会更慢,但他确实期待看到政府在这层面的行动。 主持人问:你对行业自我监管乐观吗?尤瓦尔·赫拉利回应:他并不乐观,商业史上没有任何行业能完全实现自我监管,正如布拉德所说。他换了个身份,以公民的身份提问:我们已经讨论“数字日内瓦公约”很久了,2017年他就提出过这个概念,现在需求已经非常明确,作为公民,我们该怎么做才能推动它落地?如何从“讨论”走到“行动”,真正让这些共识变成现实? 布拉德回应:这里涉及两个需要结合的概念:首先他同意需要新的国际规范,需要全球民主国家共同推进,政府必须认识到自己是应对这些问题的第一责任人,也是最后一道防线,公民的声音至关重要。微软一直支持公民社会利用技术发声,推动自身权益的保障。其次,他认为技术发展现在已经是跨学科的工作:1970年代到2010年代,科技公司里主要是计算机科学家和数据科学家,如今迫切需要让参与技术研发的人接受更广泛的教育,哲学是其中一部分,历史也非常重要——历史是各种理念的试验场,能让我们知道什么可行、什么失败,比如社会当年监管铁路的经验,就能给当下监管信息技术提供清晰借鉴。他认为大学需要做出改变:工程学院、计算机系的学生需要接受更多人文社科教育,而人文社科专业的学生也需要修读计算机科学和统计课程,帮助彼此补全知识盲区。同时,教育不能只局限于校园,技术迭代太快,我们需要终身学习:数据显示65岁以上群体在社交媒体上分享假新闻和阴谋论的概率是其他群体的7倍,因此面向全社会的技术教育需要成为终身学习的内容,而非只在学校里完成。

七、新冠疫情:监控技术扩张的临界点与边界

主持人问布拉德,微软曾将新冠疫情称为监控和数据监控的分水岭时刻,请他解释其中的担忧,以及该如何应对?尤瓦尔·赫拉利抢先回应:几十年后人们回顾新冠疫情,会记得这是两件事发生的关键节点:一是所有事情都数字化了;二是我们同意了被持续监控,不仅在威权国家,在民主国家也是如此。而最重要的是,监控开始“穿透皮肤”:我们之前没见过真正的变化,当下世界正在发生“人类黑客化”的过程——能够深入理解人体内部机制、理解什么驱动着人的行为。对黑客人类而言,最重要的数据不是你读了什么、见了谁、买了什么,而是你身体内部发生的事。计算机科学革命和生物科学革命此前是分离的,现在正在融合,核心载体是生物传感器:这种技术能把生物数据转化为可被计算机分析的数字数据。一旦实现对人的“皮下监控”,就是最大的游戏规则改变者,因为这正是“比个体更了解自身”的关键。他举了自己的例子:他21岁才意识到自己是同性恋,回想15、16岁时,这么重要的自我认知居然没有意识到,而如今微软、亚马逊或政府的算法,在他12、13岁时就能通过监测他的身体反应、视线焦点(比如看到男孩女孩走在沙滩上时他的眼睛看向哪里)知道这一点。 赫拉利进一步解释,新冠疫情之所以关键,是因为它为全面的生物特征监控提供了合法性:要阻止疫情,不仅需要监控人的行为,还需要监控皮下数据,比如体温检测。他不是反对监控,监控是应对疫情的重要工具,问题在于谁来执行、如何监管:如果交给安全部门执行就极其危险,今天他们用技术测体温,明天同样的技术就能判断你对政府的看法——愤怒本质上和疾病一样,是生物层面的生理模式,不是虚无缥缈的精神现象。比如领导人发表电视讲话时,电视可以监测观众的情绪反应,通过分析身体的生物信号判断你是否愤怒、是否害怕。现在全世界都在看我们的对话,甚至此刻观看我们对话的人自己也在被监测和分析,我们知道你在看,还知道你的情绪反应,这是斯大林都没有过的权力:斯大林讲话时所有人都鼓掌微笑,但他不知道人们真实的想法,哪怕有克格勃跟踪所有人,也只能看到外在行为,无法了解内心;但10年后21世纪的“斯大林”们可以持续监测全体民众的大脑和身体,还有足够的算力分析所有数据,不需要人力特工,不需要人工整理报告,传感器加AI就能完成,这将诞生史上最恶劣的极权政体。新冠疫情之所以重要,就是因为它让这些关键步骤甚至在民主国家都获得了合法性。 克里斯汀·戴维斯回应:她把新冠疫情视为对政府信任的“体温检测”:各国推出的接触者追踪应用没有获得广泛使用,正是因为经历了剑桥分析事件、《社交困境》等事件后,民众已经意识到数据的价值以及可能被滥用的风险,哪怕面对生命和健康的威胁,他们也不信任政府到愿意交出个人数据。这说明新冠疫情是一面镜子,照出了公众对政府和数据监控的信任度。 布拉德·史密斯补充:技术确实已经进步了很多,这些因素共同构成了具有重大历史意义的时刻。他对赫拉利提到的生物特征识别方向的判断完全认同,当下关于人脸识别的辩论非常重要:人脸识别是第一种被广泛部署、公众日常使用的生物特征识别技术(比如解锁手机),它已经进入公共讨论视野,各国政府对人脸识别的监管态度,很可能成为所有生物特征识别技术的监管模板,因此必须做好。不能停留在“允许还是禁止”的简单二元辩论,而要思考“允许哪些用途、禁止哪些用途”的精细化监管。新冠疫情同时印证了两位的担忧:部分威权国家正借疫情强化控制,即便在民主国家,疫情相关的隐私问题也没有得到充分的公开讨论。微软早在2020年5月就提出了参与接触者追踪应用的要求:首先,所有额外收集的信息只能用于疫情防控这一特定目的,不能挪作他用;其次,疫情结束后所有数据必须删除;第三,要尽可能降低隐私影响,他非常支持将数据存储在用户个人设备而非中央服务器上的技术方案,只有用户确诊时才会匿名共享信息。

尤瓦尔·赫拉利:科技与民主未来专题研讨会访谈(第2/2段)

三、公共卫生技术的应用争议与强制推行风险

世界研发了这类本可助力保障全民安全的技术,全球多数地区的人们却选择婉拒:有人是对技术本身缺乏信任,有人则认为它对自己的生活不会产生显著改善,因此更没有必要接受。但真正的风险在于,政府可能未经公开辩论、未落实基本人权保障,就强制推行这类技术。

四、隐私保护的全球治理与欧洲的引领作用

关于隐私保护议题,欧洲整体上一直走在全球前列。欧洲之所以率先推进隐私保护,很大程度上是因为这片大陆在历史上饱受隐私缺失的侵害:从20世纪30年代的纳粹统治,到之后数十年东德斯塔西政权的全面监控,无不如此。自20世纪80年代以来,欧洲持续在隐私保护领域发挥引领作用。如今全球已有上百个国家出台了隐私保护相关法律,美国仍在追赶。我们迫切需要在全球民主国家间开展更多协作,共同制定兼顾隐私保护、公共健康需求与基本自由的行动框架。

五、务实捍卫民主的路径探讨

主持人:我们还有大约四分钟时间,想回到最初的核心问题:民主是否面临威胁?我想请每位嘉宾分享一下,具体可以做些什么来捍卫民主,不要空泛的理论,要务实的建议。 克里斯汀:我平时经常参与黑客松活动,非常认可这类活动的价值。很多人对黑客松存在误解,觉得这是只有懂编程、懂技术的极客才能参与的活动,我其实也不喜欢“黑客松”这个名字,我们需要一个更准确、更友好的表述——它的核心是快速协作寻找解决方案,不断试错迭代,直到找到能切实解决问题的可行方案。比如白俄罗斯选举之后,我们就组织过黑客松,通过人脸识别和人工智能技术寻找被从街头带走的人员。我希望有更贴切的名字来指代这类活动,让更多普通公民能够参与其中,这是民众参与民主进程、应对民主面临的威胁的重要方式,也能极大提升公民的赋权感。我甚至希望未来可以在达沃斯论坛这类平台之外,打造一个新的迭代版本,让除了思想家、发言者之外的行动者、普通公民也能参与进来,进一步强化公民赋权。 布拉德:我想从两个层面展开。首先,科技公司需要继续加快研发保护民主的工具,这方面已经在推进了:比如2020年美国大选期间,谷歌、脸书、微软等企业每周都在公布他们挫败了来自俄罗斯、中国、伊朗等国的网络攻击。这只是我们需要也必须要做更多工作的一个缩影。但归根结底,这个问题最终要靠各国政府和民主国家的公民来解决。我确实认为民主正面临威胁,未来数年、数十年间,民主需要重新证明自身的价值。如果民主要走向繁荣,正如我们所有人都期望的那样,各国需要携手行动:面对病毒跨境传播、碳排放跨越国界等一系列全球性挑战,我们需要民众选出愿意采取协同行动的领导人,凝聚全球民主国家的力量共同应对当代问题,同时坚守2500多年前在雅典诞生的那些核心价值。

六、选举制度完整性对话与活动收尾

主持人:特朗普已经明确表示如果败选会质疑选举结果,你发起了“捍卫民主”倡议,你有多大把握认为当前美国选举制度的完整性?如果局势真的恶化,你能捍卫它吗? 布拉德:答案是肯定的。从根本上说,我们有充分的理由信任美国的投票系统,无论选民是通过邮寄投票还是现场投票。我们始终要记住:只要两位候选人的得票差距在2个百分点以上,民主的投票环节通常都能顺利运行;但一旦选举以极微弱的优势分出胜负,比如某场地方选举仅以100票的差距决定胜负,某州仅以1万票的差距决定归属,就会出现大量重新计票的情况,整个环节会变得极其脆弱。2000年佛罗里达州戈尔与小布什的选举争议就是如此,其他年份也多次出现过类似情况,我认为未来发生的情况可能比那还要复杂得多。 但首先我们要看到,很多人现在都在假设最坏的情况会发生,但很多时候当我们预设最坏结果时并非坏事,因为最终现实往往会比预想的更好。作为美国人,我们国家花了两个半世纪不断完善投票流程、完善计票规则,虽然目前仍存在部分族裔群体投票更难等挑战,但我们对投票制度的完整性有绝对的信心。我们也需要所有参选人都承诺尊重选举结果,无论胜负——这是民主的核心要义,也是美国民主的基石。作为选民,我们理所当然地期望所有参选人都尊重结果,如果他们做不到,一开始就不应该参选。 至于外部势力干预选举的问题,现在和2016年相比有两个不同:一是攻击手段更多样、更复杂;二是公众的认知度更高,我们所有人都正在采取更多行动应对这些威胁,无论是科技行业还是负责国家安全的政府部门。我们当然要高度警惕这些复杂的威胁,但最大的风险永远是意识不到自己面临的问题——如今我们已经清楚地认识到问题,也知道该如何捍卫民主。 主持人:感谢布拉德的分享。接下来请尤瓦尔分享一下,从务实的层面,我们具体可以做些什么来捍卫民主? 尤瓦尔:在个人层面,最重要的是加入一个组织。50个加入组织的人能完成的事,远多于500个各自为政的个体。请加入你最关心的那个事业,你能发挥更大的作用。如果你是工程师,我希望尽快看到两项实用的发明:第一是“心灵杀毒软件”,就像我们给电脑装杀毒软件防黑客一样,我们需要能保护人类思想不被入侵的工具,而且这个工具要属于用户本人,不属于微软、谷歌、百度,要能了解用户的需求,保护用户不被认知入侵。第二是平衡监控的天平:现在社会对公民的监控越来越多,我们也需要加强对顶层人群的监控,开发更多工具来打击政府腐败。正如开场时大家提到的,技术是中立的,你让它监控公民,它就监控公民;你让它监控总统、CEO和部长,它就能做到。我希望看到更多工程师开发监控总统、CEO、部长的工具,真正服务于公民利益。 主持人:明天早上你将要和我国总理进行一场备受期待的对话,你打算问他什么?这场对话的核心主题是什么? 尤瓦尔:我还没具体想好,如果你们有好的问题建议也可以告诉我。我想了解的是,领导一个国家比写书复杂得多,最大的挑战是身居高位的人通常日程太满,没有时间纵观全局。我想从一个一线行动者的视角,了解全局在他们看来是什么样的。 主持人:好的,非常感谢克里斯汀、布拉德、尤瓦尔今天的精彩对话,我非常期待一年之后能和你们再做同样的交流,届时很多事情应该会有很大不同。再次感谢各位的精彩分享。