本文刊发于《国际安全研究》2024年第5期,第81-108页,注释略。
地缘经济转向、数字主权与欧盟人工智能治理
吴 桐 刘宏松
吴桐,上海交通大学国际与公共事务学院博士研究生
刘宏松,上海交通大学国际与公共事务学院教授
内容提要
数字主权战略是欧盟“地缘经济转向”在数字空间的反映,包含监管与创新双重目标。在数字主权战略和人工智能兴起的背景下,欧盟推出了全球首部人工智能全面监管法律《人工智能法案》。在立法过程中,欧盟立法机构不断累积对人工智能风险的认识,并努力在促进人工智能创新和减轻人工智能风险间取得平衡。欧盟能否通过《人工智能法案》实现其领域的数字主权取决于欧盟能力、法案制度设计和人工智能技术特征等因素的共同作用。《人工智能法案》有利于欧盟协调内部行动和影响全球监管立法,但成员国在高风险人工智能监管执行权分配中的授权程度较低、法案制度设计未能弥合监管与创新的分歧、法案转化和修订与人工智能技术迭代的潜在不同步将对欧盟的人工智能主权产生不利影响。
关键词
地缘经济转向;欧盟;数字主权;人工智能;人工智能法案
人工智能的兴起对欧盟的数字主权战略具有重大意义。面对数字时代的机遇与挑战,欧盟倡导建设欧洲“数字主权”(digital sovereignty),即“欧洲在数字世界自主行动的能力,一种推动数字创新的保护机制和进攻性工具”。欧盟的数字主权战略包含两种政策导向:一是推动欧洲数字创新和增强数字竞争力的进攻性政策;二是加强数字监管和催生“布鲁塞尔效应”的防御性政策。在此战略背景下,人工智能既是欧盟实现数字主权愿景的机遇,也可能是损害欧盟在数字时代自主能力的威胁。
人工智能并没有形成统一的定义,其具体内容取决于研究目的和受众,并随着技术革新和治理需要而不断调整。2023年11月,经济合作与发展组织(OECD)为支持欧盟、日本和其他司法管辖区的人工智能治理工作,更新了人工智能系统的定义。欧盟《人工智能法案》(Artificial Intelligence Act)吸纳了OECD的表述,将人工智能系统定义为“以机器为基础的系统,其被设计为以不同程度的自主方式运行,在部署后可表现出适应性,并能为明确或隐含的目标,从其接收的输入中推断出如何生成可影响物理或虚拟环境的预测、内容、建议或决策等输出”。
围绕欧盟数字主权和人工智能监管,已存在大量研究成果。由于地缘政治和大国竞争的系统性压力,欧盟的经济政策正在经历一场“地缘经济转向”(geoeconomic turn),日益强调经济与安全的联系以及相对于其他国家的优势和自主性。为此,欧盟提出技术主权、经济主权和数字主权等欧洲安全倡议。关于数字主权的研究,既有文献主要聚焦于其战略背景和具体实践,指出数字主权的战略背景主要是欧盟数字竞争力不足和数字技术的安全化趋势,欧盟在数据保护、反垄断、数字平台责任和欧洲云等领域展开了积极的治理活动。另外,既有研究还探讨了人工智能带来的监管挑战,以及欧盟《人工智能法案》的立法理念、制度设计和潜在的“布鲁塞尔效应”。然而,既有研究未能考虑到《人工智能法案》是欧盟数字主权战略在人工智能领域的延伸,没有回答《人工智能法案》如何以及在多大程度上帮助欧盟实现数字主权这一问题。本文将对既有研究尚未完成的工作进行补充。
围绕上述问题,本文将《人工智能法案》置于欧盟“地缘经济转向”和数字主权战略的框架中进行考察,阐明法案背后的宏观战略内涵,检视人工智能为数字主权带来机遇和挑战的背景下欧盟的监管历程与治理方案演进,并在此基础上分析《人工智能法案》对欧盟数字主权的助益。
一欧盟数字主权与人工智能
欧盟数字主权战略是其“地缘经济转向”在数字空间的反映,包含监管与创新双重目标。在此战略背景下,人工智能的兴起对欧盟数字主权战略具有双重意义,既是欧盟增强竞争力、实现数字主权愿景的机遇,也因其潜在的风险而成为欧盟数字自主能力的威胁。
(一)欧盟数字主权的内涵与欧盟机构的立场
数字主权是欧盟“欧洲主权”愿景的重要组成部分。2018年9月,时任欧盟委员会主席让—克洛德·容克(Jean-Claude Juncker)在欧洲议会发布主题为《欧洲主权时刻》的盟情咨文,提出“欧洲必须成为国际关系中更具主权的角色”。2020年以来,以乌尔苏拉·冯德莱恩(Ursula von der Leyen)为首的新一届欧盟委员会陆续推出了“技术主权”(technological sovereignty)、“经济主权”(economic sovereignty)与“数字主权”等概念。
“欧洲主权”是欧盟对全球地缘政治态势的回应战略,其核心内涵是欧盟如何在不控制传统安全政策的情况下成为安全参与者。欧盟并非是传统的安全参与者。欧盟的权力来自成员国的主权让渡,在此过程中,欧盟及其成员国都缺乏完全的主权权力。欧盟在货币、共同市场政策和一些与技术有关的政策等权能领域形成“汇集主权”(pooled sovereignty),并借此将自身塑造为国际政治中的“规范性力量”(normative power),而成员国则保留了与国防和安全有关的权能。然而,在地缘政治回归、大国博弈加剧和欧盟在竞争中具有脆弱性的背景下,欧盟仅依靠“规范性力量”无法应对复杂多变的国际政治局势。在此形势下,“欧洲主权”战略是欧盟的地缘政治和安全定位,其目标是加强欧盟在地缘政治中的力量。为此,冯德莱恩将其领导的欧盟委员会称作“欧洲迫切需要的地缘政治委员会”。
在“欧洲主权”的宏观战略背景下,数字主权是经济主权和技术主权在数字领域的结合战略。欧盟经济主权的内涵是世界大国日益在经济政策中加入地缘政治和安全考量的形势下,欧盟需要以地缘政治思维考虑经济政策,加强经济与安全的联系,将经济活动与潜在安全风险联系起来,并利用经济工具保持和增强自身相对于其他国家的权力,从而构成了欧盟的“地缘经济转向”。在经济—安全的联结下,欧盟强调维护经济安全和提高经济影响力,这要求欧盟管理经济活动中的风险,提高竞争力和规范力。具体到数字经济领域,欧盟需要采取监管手段,利用监管工具箱管理数字活动中的风险、保障数字空间的竞争和领导全球数字监管立法。
在一些欧洲学者看来,技术主权的内涵是在地缘政治竞争加剧和疫情大流行的背景下,欧盟应当避免依赖唯一或少数第三国供应商提供对初创企业和欧盟经济与社会福祉至关重要的技术,发展研发能力以在关键使能技术(KET)领域取得领导地位。在数字领域,技术主权要求欧盟建设数字单一市场、减少政策和法律程序、加强成员国在数字技术研发中的协调与合作、向中小企业和初创企业提供融资和政策支持、采取灵活的标准化认证流程、培养公民的数字技能等等。
将经济主权与技术主权相结合,欧盟数字主权的内涵是通过协调成员国在数字领域的治理规则、加强在数字技术和数字基础设施等领域的合作,提高欧洲在数字规则制定中的领导力和在数字时代的竞争力。它是欧盟在数字领域的保护机制和进攻性工具的结合。因此,欧盟的数字主权战略包含两种政策导向:一是推动欧洲数字创新和增强欧洲数字竞争力的进攻性政策;二是加强数字监管和催生“布鲁塞尔效应”的防御性政策。
欧盟机构共同使用数字主权话语,促进机构间沟通与协调,推动形成机构间共识。但欧盟委员会、欧洲议会和欧盟理事会的数字主权立场存在差异。欧盟委员会作为欧洲的政策倡导者和一体化推动者,在欧盟倡导并策略性地使用数字主权话语,推进欧洲国家的数字合作和欧洲一体化。欧洲议会则强调公民在数字化时代的角色与重要性,倡导加强数字技能教育和尊重欧盟基本权利与价值观。欧盟理事会总体上支持建设欧盟的数字主权,增强欧盟竞争力和影响力,但在具体数字议题上不存在一以贯之的立场,而是取决于成员国的偏好。
欧盟的数字主权愿景包含对人工智能主权的追求,强调欧盟在人工智能发展中的主动权和控制权,倡导欧盟应当成为人工智能开发和监管的领导者。欧盟本身并不采用“人工智能主权”的表述,但人工智能与欧盟数字主权愿景存在紧密联系。2020年9月,欧盟委员会主席冯德莱恩在盟情咨文中宣布数字主权是欧盟未来十年数字战略的目标,其中特别强调了发展欧洲云、人工智能技术和数字基础设施的重要性。2021年3月,欧盟委员会发布《2030数字罗盘:欧盟数字十年战略》,概述了实现欧盟数字主权的关键里程碑和方法,强调人工智能是数字主权的一个关键维度。在欧盟战略叙事中,人工智能既是欧盟实现数字主权愿景的机遇,也可能成为欧盟在数字时代自主能力的威胁。
(二)作为欧盟数字主权机遇的人工智能
人工智能技术作为一项通用技术,正在促进全球经济格局的重大转变。人工智能技术通过显著提高劳动生产率、推动生产与决策自动化以及促进创新,成为引领全球经济发展的新兴驱动力。据估计,人工智能到2030年可为全球经济贡献15.7万亿美元的价值。生成式人工智能的兴起加速了这一过程。根据麦肯锡咨询公司的分析,生成式人工智能每年可增加2.6万亿美元到4.4万亿美元的价值,生成式人工智能的兴起将使人工智能的总影响增加15%—40%。
与此同时,人工智能领域的全球竞争日益激烈。一方面,欧洲在人工智能专利申请和投资吸引力方面落后于中国和美国;另一方面,欧洲缺乏人工智能战略计划,而各国政府均在部署广泛的人工智能战略计划,包括全面的政策方案、研究活动和对私人投资的广泛财政支持。至2018年3月欧盟委员会开启关于欧洲人工智能方案的工作时,美国、中国、加拿大、日本、韩国和新加坡等国都已制定了本国的战略。2016年,美国提出一项人工智能战略,投资约10亿美元用于非机密人工智能研究。2017年,中国发布《新一代人工智能发展规划》,指出人工智能成为国际竞争的新焦点,提出到2030年中国的人工智能理论、技术与应用总体达到世界领先水平的战略目标。欧洲的进度则较为缓慢,只有英国和芬兰通过了人工智能战略。面对这一竞争态势,欧盟致力于制定协调计划,加强投资和基础研究,以抓住人工智能带来的机遇。
(三)作为欧盟数字主权威胁的人工智能
人工智能不仅提供机遇,还带来了风险与挑战。人工智能是数据、算法和平台构成的技术工具箱的一部分,这些要素并非简单地并列存在,而是形成一个相互关联且强化的系统:算法是人工智能的核心,数据是算法的基础,而平台是主要的数据收集者。人工智能的三要素对欧盟数字主权构成挑战。
首先,数据主权(data sovereignty)是欧盟数字主权的重要组成部分。为加强数据保护和协调欧盟内部的数据处理规则,欧盟于2016年正式通过《通用数据保护条例》(GDPR)。人工智能的数据收集和处理模式则冲击了GDPR的适用。尽管相较于《1995年数据保护指令》,GDPR包含了互联网、社交网络、链接和网址等互联网术语,但并未包含“人工智能”及其相关概念的术语。这表明GDPR尽管起草时关注到了数据治理问题,但并没考虑到人工智能相关的问题,从而引发GDPR在人工智能时代的适用性问题,主要体现在GDPR的目标限制和最小化原则、特殊类别规定和关于自动化决策的规定三个方面。因此,欧盟需要新的监管工具以兼顾数据主体权利保护和人工智能发展。
其次,算法对欧洲社会安全的影响,主要表现为算法的偏见现象和问责难题。算法偏见问题源自两条路径:一是训练数据的错误处理,导致训练样本代表性不足;二是训练数据的历史性偏差,即训练所用数据包含了历史上积累下来的关于性别和种族等问题的偏见,即便不存在数据处理错误,系统输出也会存在偏见。算法偏见问题已出现在健康预测、信贷申请、保释裁定和招聘等决策领域,进一步扩大了已有的因人类决策所产生的社会和经济不平等。算法的问责难题主要源自两个原因:一是算法决策过程可能是难以为人类所理解和解释的“黑匣子”状态;二是商业公司对算法的保密。商业算法由私人营利性公司开发和销售,其工作原理通常不会公开披露,并受到法律保护。GDPR第15条仅要求数据控制者公开有关自动化决策系统的逻辑等有限信息,并不构成要求其披露算法的义务;GDPR立法动机阐述(Recitals)第63段说明,数据主体的访问权不得对他人的权利和自由造成不利影响,包括商业秘密和知识产权,尤其是软件的版权。因此,即使算法的功能和操作具备可理解性,但这些算法可能仍然不透明。
最后,人工智能技术及其应用的治理主体并非公共部门。世界范围内的普遍现象是,以盈利为目的的大型数字平台公司是人工智能技术及其应用的临时管理者。内嵌在大型平台的人工智能算法可能造成虚假信息、垄断、违法和操纵等问题,威胁社会稳定、经济发展和国家安全。第一,虚假信息通过吸引更多的点击量而获得更大的广告价值,从而刺激平台发布和推广更多的虚假信息或新闻,扰乱社会稳定和治理。第二,数字平台公司可以操纵排名算法增强自身产品的竞争力或获得收益,进而破坏市场竞争。第三,平台还会设计特殊算法以规避政府执法。第四,大型平台的算法可能受到政治操纵,更多地推送和推荐偏袒一方的信息,威胁政治和国家安全。例如,2024年3月,视频平台优兔(YouTube)被发现在芬兰2024年大选前夕并非中立,而是更多地推荐右翼政党的视频。
概括而言,人工智能一方面成为全球竞争的新焦点,为欧盟实现数字主权提供了机遇;另一方面冲击欧盟的数字主权愿景,可能损害欧洲的社会稳定、经济发展和国家安全。欧盟需要建立人工智能治理机制,确保人工智能技术的发展有利于欧洲经济和社会进步。在此背景下,欧盟对人工智能治理方案进行了探索。
二欧盟对人工智能的监管立法历程
欧盟的人工智能监管演变可分为两个阶段:2018年3月至2021年4月,欧盟委员会进行提案;2021年7月至2024年5月,立法审议和三方对话。在此过程中,欧盟立法者努力在促进创新和保护基本权利、成员国和超国家机构中取得平衡。
(一)第一阶段:2018年3月至2021年4月
2017年10月,欧洲理事会指出,欧盟需要有应对人工智能等新兴趋势的紧迫感,同时确保高水平的数据保护、数字权利和道德标准,邀请欧盟委员会提出欧洲人工智能方案。在此背景下,欧盟委员会展开人工智能创新计划和监管提案工作。
欧盟委员会起初认为,促进创新优先于监管风险。欧盟委员会强调欧洲应当充分利用人工智能提供的机遇,加强欧洲内部在人工智能领域的合作和投资,以应对来自美国和中国等国的竞争,同时兼顾人工智能的道德问题。2018年12月,欧盟委员会发布了《人工智能协调计划》,计划加强成员国、挪威、瑞士和欧盟委员会在增加投资、开发数据库、培养人才和确保信任四个关键领域的合作。该计划尤其指出,人工智能的兴起使得国际竞争比历史上任何时期都更激烈,而欧洲目前在人工智能领域的私人投资方面落后;如果不增加投资和合作,欧盟可能在这场竞争中失利,将面临人才外流问题,并沦落为其他国家的人工智能消费市场。2019年1月,欧盟委员会发布《欧洲的人工智能》立场文件,提出欧盟的人工智能倡议旨在促进公私部门采用人工智能、培育人工智能时代的人才、确保人工智能的发展符合欧盟价值观和法律框架。《人工智能道德准则》于2019年4月发布,提出可信赖的人工智能系统的7项关键要求。
2020年2月,欧盟委员会发布《人工智能白皮书:欧洲实现卓越和信任的方法》,重申人工智能领域的全球激烈竞争态势,提出欧洲应将自身塑造成数据经济及其应用创新的全球领导者。基于此,该白皮书讨论了旨在促进欧盟人工智能发展的支持计划,并认为监管是欧洲促进人工智能技术战略的关键支柱,提出了基于风险的方法来监管人工智能,将人工智能应用分为两类:高风险的人工智能应用和非高风险的人工智能应用,并仅针对高风险人工智能应用提出了监管要求。然而,该白皮书发布后,公众咨询认为欧盟未能充分认识到人工智能的风险和重视公共利益,要求欧盟扩大监管范围、修改风险评估和划分方法、增加人工智能的透明度、禁止生物识别技术、建立自动决策公共登记册等。2021年1月,超过60个社会组织共同致函欧盟委员会,要求即将出台的人工智能立法提案引入明确的监管红线,防止人工智能应用侵犯基本权利。
2021年4月,欧盟委员会公布《人工智能法案》提案,以发展安全合法的人工智能系统和市场取代了以往的增强欧盟竞争力的目标。提案细化了人工智能的风险分类,提出四个风险级别:不可接受风险、高风险、有限风险和最小风险。公众咨询赞扬了提案相较于人工智能白皮书的进步,认为欧盟委员会进一步认识到了人工智能的严重风险,改进了风险划分,建立高风险人工智能公共数据库以增强社会监督,并且接纳了社会组织的红线呼吁,明确禁止四类侵犯基本权利的人工智能系统。同时,公众咨询仍认为欧盟应进一步提高人工智能的监管要求,包括扩大不可接受风险和高风险清单、增加社会参与、赋予工会披露权、明确欧盟和国家的监管职责权能、全面禁止生物识别系统、避免根据技术类型定义人工智能等。
(二)第二阶段:2021年7月至2024年5月
在欧盟委员会提交提案后,欧盟理事会和欧洲议会根据提案给出各自的立场。在《人工智能法案》立法过程中,欧盟理事会代表成员国的偏好,主张避免设置严苛的监管规则,并确保成员国在执行中的中心地位;而欧洲议会则代表欧盟公民的利益,主张加强监管,并委托欧盟委员会承担执行职能。
2022年12月,欧盟理事会经过磋商,就《人工智能法案》达成共同立场,对提案主要做了以下五点修改,其目标是在促进人工智能发展和维护社会安全之间保持平衡。第一,缩小人工智能定义,将其限于基于机器学习以及逻辑和知识方法开发的系统。第二,扩大禁止清单,将禁止社会评分的范围扩大到私人行为体,并且扩大了对利用特定人群脆弱性的人工智能系统的禁止范围。第三,修改高风险人工智能的定义、清单和义务。欧盟理事会认为,如果系统的输出对将要采取的相关行动或决定纯粹是辅助性的,该系统不应列入高风险清单;欧盟理事会还将执法当局的“深度伪造”检测、犯罪分析和旅行证件真伪验证从高风险人工智能用例清单中删除,同时把在关键数字基础设施以及人寿和健康保险中使用人工智能系统添加到清单中;此外,欧盟理事会还澄清了高风险系统的部分义务,使其比提案中的义务负担更轻。第四,提出更高的透明度要求。第五,扩大法案的监管范围以包括通用人工智能(General Purpose AI),提议对高风险人工智能系统的某些要求也适用于通用人工智能,责成欧盟委员会对此问题进行调查。
欧洲议会对《人工智能法案》提案的审议直至2023年6月中旬。在此期间,以ChatGPT为代表的生成式人工智能的兴起和生物识别系统禁令成为审议焦点。2022年12月,OpenAI推出聊天机器人ChatGPT,通过使用互联网数据的机器学习模型进行训练,可生成任何类型的文本。2023年3月,GPT-4面世,显著提升了在创意写作、艺术生成和计算机编码等领域的能力。通用人工智能模型的主要特征是体积庞大、不透明性和可能发展出超出开发者预期的能力,会带来偏见,煽动仇恨,侵犯隐私,制造虚假信息,扰乱创意产业和冲击劳动力市场等。因此,如何对以ChatGPT为代表的通用人工智能系统进行监管成为欧洲议会的争论话题。一些议员建议将缺少人类监督的情况下生成复杂文本的人工智能系统均列入高风险清单,但反对者认为此做法将使许多没有风险的活动被标注为高风险。另外,欧洲议会还致力于推动更广泛的生物识别系统禁令。
2023年6月,欧洲议会就《人工智能法案》达成谈判立场,对提案内容主要进行以下五点修改,目标是加强人工智能监管以减轻其对公民基本权利的危害。第一,法案对人工智能的定义应当与OECD一致,以确保法案的确定性、协调性和广泛接受性。第二,大幅扩大禁止清单,包括全面禁止在公共场所使用实时远程生物识别系统、禁止使用事后远程生物识别系统(严重犯罪案件并且取得司法授权除外)、禁止所有使用敏感特征(如性别、种族、民族、公民身份、宗教和政治倾向)的生物识别分类系统、禁止预测性警务系统(基于特征分析、位置或过去犯罪行为)、禁止情绪识别系统(用于执法、边境管理、工作场所或教育机构),以及禁止从社交媒体或闭路电视录像中不加区分地获取生物识别数据来创建面部识别数据库的人工智能系统。第三,提出针对通用人工智能模型采取分层监管办法,并增加生成式人工智能的定义与具体义务。第四,大幅扩大高风险人工智能系统的清单和义务,要求其部署者(使用者)在投入使用前进行基本权利影响评估(FRIA)。第五,成立人工智能办公室(AI Office),负责监督《人工智能法案》的实施、提供指导和协调跨境联合调查等职能。
随后,《人工智能法案》进入三方对话阶段。在此阶段,欧盟理事会更多地强调成员国在人工智能监管中的偏好,而欧洲议会则强调保护权利的重要性,双方在禁止清单、基本权利影响评估、生成式人工智能监管以及人工智能办公室职能等问题上展开谈判。首先,欧盟理事会赞成在禁止清单中增加欧洲议会倡导的实时远程生物识别系统、生物识别分类系统、预测性警务和情绪识别系统,但认为应当减少禁令适用的场景。其次,关于欧洲议会倡导的基本权利影响评估,欧盟理事会认为要求过于繁重,存在抑制欧洲人工智能创新的风险,因此希望简化评估并将评估义务仅限于公共部门。再次,关于生成式人工智能的监管问题,欧洲议会对其依赖的基础模型设置了众多严苛的义务,遭到部分成员国的反对。德国、法国和意大利等国担心欧盟对基础模型的过度监管可能会损害其国际竞争力,主张基础模型基于行为准则进行自我监管,而不是制定具有约束力的法规和义务。最后,为保障法案有效执行,欧洲议会认为应当吸取GDPR执行机制的教训,即“任何成员国都无法单独妥善处理大公司的问题”,建议成立人工智能办公室作为独立的法律实体,赋予其执行和监控权。而欧盟理事会则希望维持成员国在执行机制中的中心地位,限制超国家机构仅作为成员国之间的磋商场所。欧盟理事会和欧洲议会在上述议题上达成妥协。根据欧洲议会的意见,最终文本扩大了禁止清单,要求公共部门和提供公共服务的私营实体等部署者进行基本权利影响评估,针对通用人工智能模型设置了众多义务,并成立人工智能办公室负责执行相关规则;同时,根据欧盟理事会的意见,最终文本在以上规则的适用场景、范围和人工智能办公室权能等问题上设置了限制条件。
概括来看,欧盟对人工智能的认知和监管发展显示出两个特征:一是不断累积对人工智能风险的认识,表现为人工智能禁令和义务在欧盟委员会提案和审议阶段都在不断扩大,并且生成式人工智能兴起后也被欧盟立法者认为存在较高风险,需被列入监管范围。二是努力在促进创新和减轻风险间取得平衡,表现为在起草阶段,欧盟委员会强调人工智能带来的巨大机遇和激烈竞争,并在公众咨询的要求下设置严格的义务;在审议和三方对话阶段,主张促进创新的欧盟理事会和主张严格保护基本权利的欧洲议会在众多问题上展开争论。最终,2023年12月,欧洲议会和欧盟理事会就《人工智能法案》达成一致意见,并分别于2024年3月和5月正式通过该法案。
三欧盟的人工智能监管机制
《人工智能法案》是全球首部人工智能全面监管法律,其出台使欧盟人工智能监管机制得以形成。《人工智能法案》与GDPR、《数字服务法》、《数字市场法》等其他数字法案的人工智能监管内容共同构成了欧盟的人工智能监管机制。
(一)《人工智能法案》的监管规则
《人工智能法案》在定义人工智能系统问题上接受了欧洲议会的意见,放弃以技术为基准的定义方法,遵循OECD的最新定义,把“推断”(infer)和“自主性”(autonomy)认定为关键要素,并将人工智能系统与通过严格算法预先确定输出的软件明确区分。该定义为人工智能设置了广泛的范围,没有采用基于技术类型的定义方法,以确保法案不会迅速过时。
关于禁止清单,《人工智能法案》相较提案大幅扩大了人工智能实践的禁止范围,但与欧洲议会立场版本相比则减少了禁令适用场景。禁止清单包括利用个人弱点进行操纵、通过潜意识技术进行操纵、社会评分、用于执法目的的公共实时远程生物识别系统、仅根据个人个性和特征的预测性警务系统、在工作和教育场所使用的情绪识别系统、使用生物识别数据对个人进行分类、从互联网或闭路电视录像中无针对性地截取面部图像来创建面部识别数据库。其中,用于执法目的的公共实时远程生物识别系统有安全例外,禁令不适用于搜寻绑架和贩卖人口等犯罪的受害者,以及可预见的恐怖袭击威胁等场合,但只能在司法或行政授权的前提下部署,并需要进行基本权利影响评估。
高风险人工智能系统是《人工智能法案》的监管重点。高风险人工智能系统包括两类:一类是用于受欧盟安全立法规范的产品或其安全部件的人工智能,如民用航空、车辆安全、航海设备、玩具、电梯、压力设备和个人防护设备;另一类是法案附件三明确指定为高风险的人工智能系统,包括远程生物识别系统、用作关键基础设施安全组件的人工智能系统,以及用于教育、就业、信用评分、执法、移民和民主进程的人工智能系统。这些人工智能系统需要符合法案第8条至第15条规定的要求,包括建立和维护风险管理系统,管理其所使用的数据集,在系统投放市场前起草技术文件以证明该系统符合法规要求,保存活动记录以确保结果的可追溯性,向部署者提供明确且充分的信息,采取适当的人类监督,以及保证高水平的稳健性、安全性和准确性。另外,《人工智能法案》还针对高风险人工智能系统价值链上的不同主体,包括提供商、进口商、分销商和部署者,均设置了严格的义务。
《人工智能法案》对通用人工智能模型专门设置了基于风险的两层监管办法。通用人工智能模型被定义为“一种人工智能模型,包括使用大量数据通过大规模自我监督进行训练的人工智能模型,该模型具有显著的通用性,能够胜任各种不同的任务,无论该模型以何种方式投放市场并集成到各种下游系统或应用中,但在投放市场前用于研究、开发或原型设计活动的人工智能模型除外”。《人工智能法案》区分了适用于所有通用人工智能模型的义务和针对具有系统性风险的模型的附加义务。所有通用人工智能模型的提供商需要创建并更新该模型的技术文件,并应要求呈交给人工智能办公室或地方主管监管机构;为打算将该模型纳入其人工智能系统的第三方创建记录文档;遵守欧盟版权法;提供用于训练模型内容的摘要。除上述要求外,具有系统性风险的通用人工智能模型的提供商还必须进行模型评估以识别和减轻系统性风险,评估并降低在欧盟层面可能存在的系统性风险,及时向人工智能办公室和地方主管部门报告严重事件,确保对模型及其基础设施提供适当水平的网络安全保护。
《人工智能法案》的执行机制是欧盟理事会和欧洲议会妥协的分层方案。一方面,依据欧盟理事会的建议,国家主管部门将监督和执行有关高风险人工智能系统监管的适用和实施,成员国将建立或指定至少一个通知机构(notifying authority)负责合格评定与监控,一个市场监督机构负责事后监控;另外,欧盟将成立由成员国代表组成的人工智能委员会作为协调平台,向欧盟委员会提供专业建议。另一方面,依据欧洲议会的建议,欧盟委员会于2024年2月成立人工智能办公室,负责监督和执行有关通用人工智能模型的规则;欧盟委员会还将成立一个由独立专家组成的科学小组来协助人工智能办公室,发挥咨询和市场监督作用。
(二)《人工智能法案》的创新促进办法
在对人工智能进行监管的同时,欧盟也注重激励人工智能创新,保护中小企业和初创企业的发展。为此,《人工智能法案》设置了人工智能监管沙盒(AI Regulatory Sandboxes)制度和针对中小企业和初创企业的减负条款。不仅如此,在欧盟立法者就《人工智能法案》达成统一意见后,欧盟委员会于2024年1月推出人工智能创新计划,旨在支持欧洲中小企业和初创企业的创新。
监管沙盒起源于金融服务业,随后出现在商业、能源市场监管、数据保护、医疗保健和人工智能监管等领域。监管沙盒具备提供法律指导、发出不执行函和给予豁免的权力,其目标是通过法律确定性、执法和监管灵活性来促进安全创新。《人工智能法案》规定成员国应在法案生效两年内至少建立一个国家级别的监管沙盒以提供一个促进创新的受控环境,在人工智能系统投放市场或投入使用之前,在有限的时间内为其开发、训练、测试和验证提供便利。主管当局应在人工智能监管沙盒内提供指导、监督和支持,以确定人工智能系统的风险,并考察相关法律的有效性。如果提供商在遵循指导的情况下仍出现违反法案的情况,将免于行政处罚。
欧盟还注重保护中小企业和初创企业的发展,为其设置了众多保护条款以减轻其合规负担。对于监管沙盒,《人工智能法案》规定主管机构设置的申请、选拔流程应当便于中小企业参与,并为中小企业提供免费进入监管沙盒的机会。法案第62条规定了针对中小企业的保护措施,包括组织针对中小企业的有关法案应用的宣传和培训活动、加强与中小企业的沟通、促进中小企业参与标准制定过程;欧盟委员会应通过透明的磋商,定期评估中小企业的认证和合规成本,与成员国合作降低成本;欧盟委员会在组建咨询机构时,应注意中小企业的代表性。除此之外,2024年1月,欧盟委员会还推出人工智能创新计划,为欧洲的人工智能中小企业和初创企业建立人工智能工厂,提供创新所需的三个关键资源:人工智能专用超级计算机、数据存储设施和超级计算服务。
(三)其他数字监管法案
《人工智能法案》是欧盟一系列数字监管法案的一部分,与包括GDPR、《数字服务法》和《数字市场法》在内的其他数字法案共同对人工智能监管产生影响。自《人工智能法案》提案推出以来,欧盟就明确指出它是GDPR在个人数据保护方面的补充法案,这反映在以下三个方面。第一,关于GDPR第9条的特殊类别个人数据禁令,《人工智能法案》第10(5)条规定,在确保对高风险人工智能系统进行偏见监控、检测和纠正的严格必要范围内,此类系统的提供商可以处理GDPR第9条提及的特殊类别个人数据。此条款旨在允许高风险人工智能系统的提供商检测和纠正系统偏见。第二,《人工智能法案》关于自动化决策解释的权利比GDPR更为宽泛。GDPR第22条规定的解释权利仅限于完全基于自动化处理的决定,而《人工智能法案》规定的解释权利则扩展至基于高风险人工智能系统输出的所有决定(包括基于人工智能输出的人为决定)。第三,《人工智能法案》相较于GDPR赋予个人更为广泛的投诉权。GDPR规定只有当处理与其相关的个人数据时,数据主体才能提出申诉。而《人工智能法案》几乎未设置资格要求,任何自然人或法人在合理地认为存在违反法案规定的情况下,都可以向相关市场监督机构提出投诉。
另外,欧盟数字服务一揽子法案《数字服务法》和《数字市场法》也将对人工智能监管产生影响。《数字服务法》旨在规范在线服务平台的内容,于2024年2月正式适用于所有在线服务平台。尽管《数字服务法》的监管范围并不明确包括人工智能这一类别,但该法案已经进入人工智能监管领域。2024年3月,欧盟委员会根据《数字服务法》发布了针对超大型在线平台和搜索引擎的建议措施指南,以减轻可能影响选举公正性的网络风险。其中,指南要求超大型平台和搜索引擎采取与生成式人工智能相关的风险缓解措施:应评估和减轻与人工智能相关的特定风险,包括明确标记人工智能生成的内容(例如“深度伪造”),并相应调整其服务条款。《数字市场法》则旨在防止大型数字公司滥用市场主导地位、妨碍创建更具竞争性和创新活力的数字市场,于2023年5月正式生效。《数字市场法》最初并非计划用于人工智能监管,但由于其监管领域广泛、执行灵活且具备强大的执行机制,有望帮助欧盟规范大型数字公司的人工智能系统,以填补《人工智能法案》生效前的监管空白期。《数字市场法》的这一作用已受到欧盟关注。2024年6月,欧盟委员会执行副主席兼竞争专员玛格丽特·维斯塔格(Margrethe Vestager)表示:“当人工智能嵌入指定的核心平台服务时,其便在《数字市场法》的监管之列。”
概括而言,《人工智能法案》与GDPR、《数字服务法》、《数字市场法》等其他数字法案共同构成了欧盟的人工智能监管机制,其中,《人工智能法案》是中心机制,其目标是在保护权利和促进创新之间取得平衡。另外,《人工智能法案》对GDPR进行了补充,使后者更适用于人工智能时代。《数字服务法》和《数字市场法》则有望帮助欧盟规范大型数字公司的人工智能系统,填补《人工智能法案》生效前的监管空白期。
四《人工智能法案》与欧盟数字主权前景
《人工智能法案》因数字主权战略而起,同时也是欧盟在监管和创新双重目标之间平衡的结果。《人工智能法案》能否帮助欧盟取得预期目标取决于欧盟能力、法案制度设计和人工智能技术特征与法案转化及修订的同步程度。
(一)欧盟能力
欧盟的权能来自成员国的授权和主权让渡,其主要职责领域是经济和货币政策,在地缘政治与安全领域的权能十分有限。尽管欧盟希望通过共同外交与安全政策使其转变为安全行为体,但是成员国因历史、地理和经济利益的不同而有不同的外交政策优先事项,难以就安全问题达成一致立场。欧盟数字主权战略的核心问题是欧盟作为一个非传统安全授权机构,如何成为一个有能力的安全参与者。因此,欧盟数字主权的前景取决于成员国的授权程度,《人工智能法案》达成预期目标的前提是成员国对欧盟监管框架和执行机制的支持。
一方面,欧盟成员国总体上形成了关于人工智能风险和监管的共识,有助于欧盟协调内部监管行动和向全球推广基于欧盟价值观的监管规则。在三方对话期间,以法国、德国和意大利为代表的成员国曾坚决反对法案设置严格的监管规则,甚至在三方达成一致文本后,法国仍在极力阻挠立法进程,认为应当减少监管和尊重商业秘密以促进创新,导致《人工智能法案》的前景并不明朗。然而,在2024年2月的欧盟理事会常驻代表团委员会会议上,法国最终放弃抵制,成员国代表一致同意批准了《人工智能法案》;2024年5月,欧盟理事会正式通过该法案。这表明《人工智能法案》获得了成员国的认同,未来生效后将有效协调成员国在人工智能监管上的行动。
此外,成员国对严格法案的支持也有助于催生潜在的“布鲁塞尔效应”。“布鲁塞尔效应”是指欧盟拥有将其标准转变为全球标准的监管全球市场的权力。例如,欧盟影响了全球市场的竞争政策、环境保护、食品安全、隐私保护和在线平台内容的监管标准。影响“布鲁塞尔效应”的因素包括市场规模、监管能力、严格规则、非弹性对象和不可分割性。成员国的一致支持有助于确保欧盟有能力整合其市场权力,进而转化为监管影响力。同时,法案并没有因为部分成员国的反对而减少监管和透明度要求,而是保留了严格的监管规则。《人工智能法案》在禁止清单、高风险人工智能系统和系统性风险的通用人工智能模型方面的规定比其他司法管辖区的做法都更为严格,因此在这些方面更易于产生“布鲁塞尔效应”。另外,欧盟还通过积累数字治理经验取得了较强的数字监管能力,并通过法案制度设计确保了监管对象的非弹性;但在不可分割性方面,由于数字产品的无形性,数字企业可在不同司法管辖区推出不同技术标准的人工智能系统,这将限制《人工智能法案》的“布鲁塞尔效应”。
另一方面,《人工智能法案》对数字主权的增益作用可能出现分层效果,这源于成员国对执行授权的保留态度,可能损害法案对数字主权的潜在增益作用。《人工智能法案》的执行权分配结果是成员国与欧盟委员会之间的平衡,规定高风险人工智能系统和通用人工智能模型适用于两套不同的执行体系。法案规定国家主管部门执行有关高风险系统的合规条款,同时由欧盟委员会成立的人工智能办公室执行有关通用人工智能模型的规则。这意味着高风险人工智能系统的监管执行可能会面临与GDPR相同的困境:一是成员国面对大型科技公司存在议价权劣势问题;二是由于成员国主管部门间的规模、效率和执行重点不一,跨境执行将存在滞后性,损害法案的有效性。此外,惩罚措施对阻止企业违规的效果并不乐观。根据违规类型,《人工智能法案》允许监管机构对人工智能提供商处以750万—3 500万欧元或全球营业额1.5%—7%的罚款。然而,GDPR执行经验表明,罚款无法对大型科技公司造成毁损效果,难以构成实质性的合规压力。
(二)法案制度设计的艰难平衡
监管和创新作为数字主权的目标,二者间本存在较大的张力。严格的监管可能增加市场参与者的合规成本,进而抑制创新;为促进创新而减少监管则可能无法有效规避数字活动中的风险。这种张力也表现为经济主权和技术主权努力弥合与对方的紧张关系。欧盟经济主权文件指出“建立经济主权并不意味着遏制技术传播”,欧盟应当制定共同的知识产权、投资和补贴规则,确保欧盟受益于技术创新。技术主权战略也强调应当制定适当的政策和标准,推动全球监管和实践反映欧洲价值观。《人工智能法案》试图在监管与创新之间取得平衡,但其制度设计难以弥合监管与创新之间的分歧,并且面临来自美国和英国侧重于创新促进的制度竞争。
《人工智能法案》严格的监管规则使得商业代表担心法案可能抑制创新。首先,法案严苛的合规要求可能会增加企业尤其是中小企业和初创企业的合规成本。其次,法案适用于投放到欧盟市场的人工智能系统,其主要监管范围是欧盟内部,因此可能削弱欧洲企业的国际竞争力。最后,初创企业对欧盟委员会的促进创新一揽子计划的效果持保留意见,认为欧盟委员会行政效率低下、资金支持有限、基础设施与模型间存在潜在不匹配问题,无法有效促进初创企业的发展。
同时,《人工智能法案》的漏洞、管辖权排除和例外条款也引发公民组织担忧法案无法真正保护公民免于人工智能系统的危害,主要体现为以下三个方面。第一,禁止清单对执法目的的远程实时生物识别系统的安全例外条款有被滥用的可能性,并且对情绪识别系统的禁令仅适用于就业和教育领域,对广泛运用的执法、移民或司法领域没有影响,忽视了该系统在以上领域的歧视性风险。第二,尽管法案建立了一个公开访问的欧盟数据库以促进监管工作和公众透明度,但执法、移民、庇护和边境管制当局使用的高风险人工智能系统只需在非公开数据库登记有限信息,降低了数据库的内容含量,并将阻碍公众监督和投诉。第三,法案规定如果附件三的人工智能系统仅旨在执行准备性任务,则不应被视为高风险系统。这一例外条款可能削弱法案的有效性,导致高风险人工智能系统的自我评估与监管。
相较于欧盟的平衡措施,美国和英国采取了灵活、更利于创新的监管方案(参见表1)。因此,《人工智能法案》的创新促进办法面对美英的灵活监管方案无法取得制度优势,难以帮助欧盟获取相较于其他大国的技术创新优势。2023年10月,美国发布了人工智能行政命令,旨在开发和使用安全、可靠、值得信赖的人工智能。相较于欧盟《人工智能法案》严格的法律规定,美国的行政命令更为灵活,倡导原则性要求并鼓励自愿性行业标准,而不强加具体的法律要求。英国与欧盟的分歧更为显著,宣布对人工智能采取“支持创新”的方法。英国不赞同在现阶段制定法律,而是制定一个原则框架以指导和告知所有部门负责任地开发和使用人工智能。这些原则在非法定基础上发布,由现有的监管机构自行决定如何依据原则将现存法律应用于新技术。不仅如此,美英还于2024年4月1日签署了关于人工智能模型开发和测试的合作备忘录,共同推进人工智能的安全开发,这是全球首个正式合作测试和评估人工智能模型安全风险的协议。为减轻创新制度劣势的负面影响,欧盟寻求与其他大国增强在人工智能监管领域的规制协调。目前,欧盟与美国已形成在贸易和技术理事会(TTC)框架下的合作意愿。美国联邦层面的人工智能监管方案以行政命令为主,具备较强的灵活性,可随时撤销或更改。欧盟与美国能否加强监管协调将取决于美国是否愿意制定更加严格的监管规则,以及美国数字企业遵守欧盟规则的成本是否高于差异化成本。
(三)数字主权与人工智能技术特征
欧盟的数字主权战略不仅是欧盟的地缘经济战略,强调相对于其他大国的数字自主权,还是政治行为体进入宣称“无主之地”网络空间的策略,标志20世纪90年代以来对互联网及其商业模式的宽松监管时代的结束,政治行为体以公共利益维护者的身份出现在数字治理领域。欧盟数字主权的前景不仅取决于欧盟与其他大国的博弈,还在于欧盟的监管工具箱与网络空间特征的互动。人工智能领域的关键特征是技术迭代飞速,因此,《人工智能法案》的效果还将取决于其监管规则能否及时跟进技术发展。
自2018年欧盟委员会开启人工智能监管工作至2024年欧洲议会和欧盟理事会通过三方协议文本,《人工智能法案》历经六年最终成形,但其适用仍是一个漫长的过程。《人工智能法案》的最终文本将在欧盟《官方公报》上公布,并于20天后生效。法案为各类人工智能系统及其义务规定了不同的过渡期:被禁止的人工智能应用的过渡期为6个月,通用人工智能模型为12个月,附件三中的高风险人工智能系统为24个月,附件二的高风险系统为36个月,法案生效前便已供公共机构使用的高风险系统为48个月。
然而,如今人工智能技术的理论、模型、算法快速迭代,漫长的过渡期引发公众对技术发展速度超越监管从而导致法案过时的担忧。在立法阶段,《人工智能法案》便因为技术和应用的迅速发展而成为一份“流动文本”,这一点主要体现在通用人工智能模型在法案文本中的显要性变化。2022年12月的欧盟理事会共同立场首次提出要对通用人工智能模型进行监管,但并未涉及具体义务。ChatGPT在2022年年末的迅速发展促使欧洲议会和随后的三方对话对其进行了具体的分类并提出了合规要求。《人工智能法案》对通用人工智能模型是否具有系统性风险的划分标准之一是其用于训练的累积计算量大于10的25次方每秒浮点运算次数(FLOPs)。然而,这一标准可能随着技术迭代而与现实脱节。担任法案联合报告员的欧洲议会议员德拉戈斯·图多拉奇(Dragoş Tudorache)表达了这一担忧:“到基础模型规则开始适用时(法案生效后12个月),要么会有四五个大模型通过这一门槛,要么会有新的技术飞跃(降低对强大基础模型的计算要求)。”
考虑到技术迭代迅速,欧盟在《人工智能法案》中设置了灵活的执行条款。尽管法案文本已成形,但许多实施细节尚不清晰。欧盟未来的核心工作是将法律文本转化为实施指南,这一工作主要交由欧盟委员会承担。欧盟委员会应在法案生效后的18个月内提供实施指南以及一份人工智能系统高风险和非高风险使用案例的综合实例清单。除此之外,欧盟委员会应在法案生效后每年评估一次附件三和禁止清单是否需要修订;如有必要,欧盟委员会应提交修订法案的建议,尤其要考虑到技术的发展、人工智能系统对健康和安全的影响以及对基本权利的影响,并根据信息社会的发展状况进行修订。目前,欧盟委员会尚未正式开展实施指南的制定工作,其能否帮助《人工智能法案》及时跟进技术发展步伐仍存在疑问。
总的来说,《人工智能法案》源于欧盟对数字主权的追求,同时也是多重目标和偏好下平衡的结果。法案的效果受成员国的授权程度、制度设计如何处理监管与创新之间的张力以及人工智能技术特征的影响。乐观的方面是成员国总体上就人工智能的风险与监管达成了一致意见,这有利于协调内部监管行动和催生“布鲁塞尔效应”。消极的方面主要有三点:一是成员国在高风险人工智能系统监管方面的执行授权程度较低,可能损害法案针对大型数字公司的监管有效性;二是法案试图在监管和创新之间寻求平衡,但这一制度设计存在创新促进不够有力的劣势,面临来自美英的偏向创新促进的制度竞争;三是法案是否能及时跟进技术发展步伐这一问题仍然存在不确定性。
结 论
欧洲对经济和技术落后的担忧一直是一体化的推动力。从历史来看,欧盟通过整合市场和监管政策,成为一支全球性的经济力量,但在安全领域的能力十分有限。在地缘政治回归、大国博弈加剧和欧盟在竞争中存在脆弱性的背景下,欧盟有动力在安全领域推进一体化进程。为此,欧盟提出“欧洲主权”愿景,包含经济主权、技术主权、数字主权等战略。数字主权融合了数字领域的经济主权和技术主权,其内涵是通过协调成员国在数字领域的治理规则、加强在数字技术和数字基础设施等领域的合作,提高欧洲在全球数字规则制定中的领导力和数字时代的竞争力,是欧盟在数字领域的保护机制和进攻性工具的结合。欧盟的数字主权战略包含两种政策导向:一是推动欧洲数字创新和增强欧洲数字竞争力的进攻性政策;二是加强数字监管和催生“布鲁塞尔效应”的防御性政策。
人工智能的兴起对欧盟的数字主权具有重大意义,既是欧盟实现数字主权愿景的机遇,也因伴随而来的巨大风险而成为欧盟数字自主能力的潜在威胁。在此背景下,欧盟对人工智能监管方案进行了探索,并于2023年12月达成一致意见。欧盟对人工智能的认知和监管发展表现为两个特征:一是不断累积对人工智能风险的认识;二是努力在促进人工智能创新和减轻人工智能风险之间取得平衡。在保护权利方面,《人工智能法案》采取基于风险的分层监管方法,设置了基于不可接受风险的禁止清单和高风险人工智能系统的严格且广泛义务,对通用人工智能模型进行专门监管,并设置了复杂的分层执行结构。在促进创新方面,《人工智能法案》规定了人工智能监管沙盒制度与针对中小企业和初创企业的减负条款,推动安全可信的人工智能创新。并且,《人工智能法案》还将与GDPR、《数字服务法》、《数字市场法》共同对人工智能监管产生影响。通过回顾法案从提案至最终通过的发展过程,本文展示了如今严苛的《人工智能法案》并非一蹴而就,而是在欧盟不断累积对人工智能风险的认知后的结果。
欧盟能否通过《人工智能法案》实现其人工智能主权(人工智能领域的数字主权)取决于欧盟能力、法案制度设计和人工智能技术特征等因素的共同作用。从乐观的角度看,欧盟能力来自成员国授权和主权让渡,实现数字主权战略的前提是成员国的一致支持;成员国总体上就人工智能风险和严格监管达成一致共识,这有利于欧盟协调内部行动和影响全球监管立法。然而,不利因素仍然存在。首先,成员国在高风险人工智能系统监管的执行权分配上的授权程度较低,可能损害其对数字主权的潜在增益作用。其次,数字主权的双重目标——监管和创新之间存在张力,《人工智能法案》未能弥合这一分歧,并且面临美英的偏向创新促进的制度竞争。最后,数字主权的前景还取决于欧盟监管工具箱与网络空间特征的互动,《人工智能法案》能否及时跟进技术发展步伐仍然存在不确定性。
【来稿日期:2024-05-28】
【修回日期:2024-07-08】
【责任编辑:李水生】
编辑:杨旷达
一校:谢 磊
二校:谭秀英
终审:刘中伟
声明:本文来自国际安全研究ISS,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。