文 | 美国科律律师事务所新加坡办公室律师 于智精；美国科律律师事务所布鲁塞尔办公室顾问 Enrique Capdevila
为促进人工智能技术发展并应对可能带来的挑战，各国开始探索有效的人工智能监管路径，其中，欧盟在这一领域走在了前列。
欧盟自 2018 年开始探索建立一套既能促进人工智能发展又能确保人工智能符合基于信任、安全、伦理等考量因素的监管框架。2018 年 4 月，欧盟委员会（European Commission）发布政策文件《欧洲的人工智能》（Artificial Intelligence for Europe），指出欧盟应采取协调一致的方法，最大化利用人工智能带来的机遇并解决可能带来的挑战。2019 年 3 月，由欧盟委员会指派的高级别人工智能专家组发布了《可信人工智能伦理指南》（Ethics Guidelines for Trustworthy Artificial Intelligence），提出了人工智能系统达到可信标准的七项关键要求，包括人类能动性与监督、技术稳健性与安全性、隐私与数据治理、透明度、多样性、非歧视性与公平性、社会与环境福祉以及可问责性等。2020 年 2 月，欧盟委员会发布《人工智能白皮书：追求卓越与信任的欧洲路径》（White Paper on Artificial Intelligence: an European Approach to Excellence and Trust）。关于未来欧盟人工智能监管框架的展望，该白皮书提出针对高风险人工智能应用的相关监管要求应包含以下要点，即训练数据、数据与记录留存、信息披露、稳健性与准确性、人为监督，以及针对特定人工智能应用的要求（例如远程生物识别）等。
此后，欧盟委员会于 2021 年 4 月发布了全球首部针对人工智能监管的综合性法律草案，即《人工智能法案草案》（Proposal for Artificial Intelligence Act）。该草案体现了欧盟自 2018 年以来形成的监管思路，建立了一套基于风险的监管路径，将人工智能系统风险划分为不可接受风险、高风险、有限风险以及最低风险四个级别。该草案对不同风险级别的人工智能系统规定了不同的合规义务。在经过多轮审议及修改后，2024年 3 月 13 日，欧洲议会正式投票通过了欧盟《人工智能法案》（Artificial Intelligence Act）。欧盟《人工智能法案》的出台在全球人工智能监管立法领域具有里程碑意义。作为全球首部关于人工智能的综合性立法，欧盟在考量如何促进人工智能技术与产业发展的背景下，采纳以风险为基础的路径对人工智能进行监管。这一立法思路将为全球其他国家探索如何平衡人工智能的发展与监管规制，提供了重要借鉴。
一、欧盟《人工智能法案》的适用范围
《人工智能法案》作为欧盟监管人工智能的综合性立法，对不同风险等级的人工智能系统以及人工智能系统的提供商、部署者、进口商和分销商等产业链参与者规定了不同的监管要求。该法案的适用范围广泛，主要包括三个维度，即落入监管范畴的人工智能系统的范围、相关主体的范围以及法案本身的域内域外效力。
欧盟《人工智能法案》将人工智能系统定义为“一种基于机器的系统，旨在以不同程度的自主方式运行，在部署后可能表现出适应性，并且针对明示或默示的目标，可根据其接收到的输入物推断如何生成能影响物理或虚拟环境的输出物，例如预测、内容、推荐或决定等。”该法案对人工智能系统的定义源自经济合作与发展组织（OECD）针对人工智能系统的定义。欧盟使用经合组织定义的目的是为促进与其他法律法规的国际一致性和延续性提供基础。
根据《人工智能法案》第二条，其适用范围包括以下七个方面：（1）在欧盟境内投放市场或投入服务的人工智能系统或将通用目的人工智能模型投放市场的提供商，无论这些提供商是位于欧盟境内还是第三国；（2）在欧盟境内设立或位于欧盟境内的人工智能系统部署者；（3）在第三国设立或位于第三国但其系统输出物在欧盟境内被使用的人工智能系统提供商和部署者；（4）人工智能系统的进口商和分销商；（5）将人工智能系统与其产品一起投放市场或投入服务并使用自己的名称或商标的产品制造商；（6）在欧盟境外设立的提供商的授权代表；（7）位于欧盟境内的受影响主体。根据该法案，提供商是指开发或者拥有已开发的人工智能系统或通用目的人工智能模型并使用自己的名称或商标将其投放市场或投入服务的自然人或法人、公共机关、机构或其他团体，无论是收费还是免费。部署者是指在其权限范围内使用人工智能系统的自然人或法人、公共机关、机构或其他团体，除非人工智能系统被用于个人的非专业活动。进口商是指将带有第三国自然人或法人名称或商标的人工智能系统投放于欧盟市场的欧盟境内设立或位于欧盟境内的自然人或法人。分销商是指供应链中除提供商和进口商之外的在欧盟市场提供人工智能系统的自然人或法人。
欧盟《人工智能法案》的适用范围相对广泛并具有域外效力。同时，其适用范围也涵盖人工智能系统产业链上的各个关键主体。这将对位于欧盟境内和向欧盟境内提供人工智能系统的组织产生重要影响。
二、欧盟《人工智能法案》的重点监管要求
欧盟《人工智能法案》的核心监管思路是根据人工智能系统的风险等级采取不同的监管要求。针对高风险人工智能系统、特定人工智能系统以及通用目的人工智能系统，该法案均规定了相应的合规义务。
（一）基于风险的监管路径
欧盟《人工智能法案》采用基于风险的规制框架，对不同风险程度的人工智能系统提出了不同的要求和义务。在此框架下，人工智能系统对健康、安全或基本权利所造成的风险越大，规则越严格。该法案将人工智能系统分为以下四个风险类型，包括不可接受风险、高风险、有限风险和低风险。
1.具有不可接受风险的人工智能系统
某些人工智能系统的使用可能会带来不可接受的风险，因此这类使用应被禁止。该法案第五条明确规定了以下五类被禁止的人工智能用途。
认知行为操纵。采用超出人类意识的潜意识技术或有目的的操纵或欺骗技术，通过明显损害其做出明智决定的能力达到严重扭曲个人或群体行为的目的或效果，从而导致或可能导致其本人、他人或群体受到重大伤害。
利用特定弱点。利用个人或特定群体因年龄、残疾或特定社会或经济状况而存在的任何脆弱性，达到实质性扭曲其本人或属于该群体的个人行为的目的或效果，从而导致或可能导致其本人或他人受到重大伤害。
社会评分。根据自然人或其群体的社会行为，或已知、推断或预测的个人或人格特征，在一定时期对自然人或其群体进行评估或分类，并进行可能造成以下后果的社会评分：在与数据最初生成或收集的背景无关的社会背景下，使某些自然人或其整个群体受到有害或不利待遇；使某些自然人或其群体受到不公正或与其社会行为或其严重性不相称的有害或不利待遇。
生物识别归类。使用基于生物识别数据对自然人进行分类的生物识别分类系统推断自然人的种族、政治观点、宗教信仰和性取向等敏感信息。
远程生物识别。为执法目的在公共区域使用实时远程生物识别系统，除非该等使用对下述任何目的而言严格必要：有针对性地寻找绑架、贩运人口和性剥削的具体受害者以及寻找失踪人员；防止对自然人的生命或人身安全造成具体的、实质性的和迫在眉睫的威胁，或者防止当前存在的或可预见的真正的恐怖袭击威胁；定位或识别刑事犯罪嫌疑人。
该法案禁止使用人工智能系统评估和预测自然人的犯罪风险（仅基于对自然人的画像以及人格特质和特征的评估），禁止通过人工智能手段无目的地抓取互联网或闭路电视录像中的面部图像，以及创建或扩展面部识别数据库的行为。除非出于医疗或安全原因，该法案规定不得通过人工智能系统推断工作场所和教育机构中自然人的情绪。
2.高风险人工智能系统
如果人工智能系统给健康、安全、基本权利、环境、民主和法治带来重大潜在危害，那么其将被归类为高风险人工智能系统。根据该法案第六条，同时满足以下两项条件的人工智能系统将被认为具有高风险：一是人工智能系统旨在用作产品的安全组件，或者人工智能系统就是产品本身，且该等产品在法案附件一中列出的、由欧盟协调立法所涵盖的范围（即特定欧盟立法涵盖的产品）；二是相关产品的安全组件为人工智能系统，或者人工智能系统就是产品本身，该等产品须接受第三方的符合性评估。
另外，该法案附件三进一步列举了高风险人工智能系统范围，包括关键基础设施（如关键数字基础设施、道路交通以及水、天然气、供暖和电力的供应设施）、教育和职业培训、就业、获得和享受基本的私人服务和公共服务及福利（如医疗服务），以及用于执法、边境管制、司法行政和民主进程等领域的特定人工智能系统。
3.有限风险与低风险人工智能系统
对有限风险人工智能系统，该法案规定了相关透明度义务，人工智能系统提供和部署方应确保用户知晓其正在与人工智能系统互动。对于企业其余的绝大多数人工智能系统仅会造成极低风险或几乎没有风险（例如垃圾邮件过滤器），该法案则不予干预。
该法案所采纳的基于风险的监管思路可能对世界其他国家有关人工智能的立法与监管起到示范作用。这一监管思路体现出欧盟在人工智能领域试图达成监管与发展的平衡。对于某些可能产生不可接受风险的人工智能系统，该法案给予严格禁止。对于高风险人工智能系统，该法案在认识到这些系统的高风险性后，并不严格禁止，但对其系统本身以及使用者、部署者和产业链上的其他参与者规定了明确的合规义务，确保该等人工智能技术可以在合规且安全的框架下应用与发展。对于有限或及低风险人工智能系统，鉴于其风险等级较低，该法案并没有对其施加不适当的限制。
（二）对高风险人工智能的监管要求
欧盟《人工智能法案》对高风险人工智能系统本身以及高风险人工智能系统的相关参与方提出了一系列监管要求。
1.针对高风险人工智能系统的要求
该法案针对高风险人工智能系统提出的要求主要涉及以下七个方面。一是风险管理制度。应建立、实施、记录并维护关于高风险人工智能的风险管理制度。该等风险管理制度需进行定期的系统性审查和更新。二是数据治理。应建立与人工智能系统目的相称的适用于训练、验证和测试数据集的治理及管理实践。相关实践应考虑一系列要点，例如相关设计选项、数据收集流程及数据源（还应考量收集个人数据的最初目的）、数据准备及处理操作（例如注释、标签、清理、更新、丰富和聚合）、数据集可用性、体量及适用性评估、可能影响个人健康和安全的情况，以及可能对个人基本权利产生负面影响或导致歧视等因素。三是技术文件。在高风险人工智能系统投放市场或投入服务前，制定有关该人工智能系统的技术文件，并确保不断更新。技术文件的内容应证明相关系统符合法案针对高风险人工智能系统提出的要求。四是记录保存。高风险人工智能系统应具有在系统生命周期内能自动记录事件（以下简称“日志”）的技术能力。五是透明度。高风险人工智能系统的设计与开发应确保其运行具有足够的透明度，使部署者可以恰当解读和使用系统输出物。六是人为监督。高风险人工智能系统应在使用期间确保可以受到自然人的有效监督。人为监督的目的是防止或尽可能减少在按照预期目的使用高风险人工智能系统或在合理可预见的滥用情况下可能出现的健康、安全或基本权利风险。七是准确性、稳健性和网络安全性。高风险人工智能系统应达到适当水平的准确性、稳健性和网络安全性，并应在系统的整个生命周期在上述三个方面始终表现一致。
2.针对高风险人工智能系统产业链参与者的要求
该法案对高风险人工智能系统产业链参与者（包括提供商、进口商、分销商和部署者等）规定了不同的合规义务。
提供商应履行的主要义务包括：（1）确保符合上述针对高风险人工智能系统的要求，并在人工智能系统或其产品包装（或随附文件）上标明提供商的名称、商号或商标和地址；（2）建立确保高风险人工智能系统符合法案要求的质量管理制度；（3）在人工智能系统投放市场或投入使用后 10 年内，保存并供监管机关处理包括技术文件和质量管理制度在内的相关文件；（4）保存提供商掌握的相关日志；（5）确保高风险人工智能系统在投放市场或投入服务前经过相关符合性评估程序，准备并签署欧盟符合性声明并加贴欧洲统一（CE）认证标志；（6）发现高风险人工智能系统不符合法案规定时，立刻采取纠正措施并通知分销商、部署者、授权代表和进口商等；（7）确保高风险人工智能系统符合无障碍要求；（8）在监管机关合理要求时，向监管机关提供证明高风险人工智能系统符合法案相关要求的全部必要信息和文件；（9）建立产品投放市场后的监控制度，确保该监控制度与相关人工智能技术的性质以及高风险人工智能系统涉及的风险相适应。
部署者应履行以下主要义务：（1）采取适当的技术和组织措施确保其对高风险人工智能系统的使用符合该系统随附的使用说明；（2）按照法案的要求进行人为监督，确保进行监督的自然人具备必要的能力，接受过必要培训并拥有必要权限和支持；（3）当部署者认为对高风险人工智能的使用可能导致相关安全、健康或个人基本权利风险时，应及时通知提供商或分销商以及市场监管机关，并暂停系统的使用；（4）部署者应保存其掌握的高风险人工智能系统自动生成的日志。日志保存期限应与高风险人工智能使用目的相适当，并且不得少于六个月；（5）如果部署者是受公法管辖的机构或提供公共服务的私人运营商，或者部署者部署了法案附件三所列举的特定高风险人工智能系统（例如评估自然人信用的人工智能系统），应评估该系统的使用是否会对个人基本权利产生影响。
进口商和分销商，在将高风险人工智能系统投放市场之前，有义务核实高风险人工智能系统是否符合该法案的要求，确保相关所需文件已完备，并应在特定情况下与提供商和市场监督部门进行沟通。
该法案对高风险人工智能系统的相关规定显示，欧盟关注人工智能系统在组织管理措施、数据质量与安全、人为参与及监督、系统透明度、记录保存以及网络安全稳健等维度的合规问题。这与其自 2018 年提出的人工智能相关原则与要求一脉相承，也是全球普遍理解的人工智能规制核心要素。
（三）针对特定人工智能系统以及通用目的人工智能系统的监管要求
根据欧盟《人工智能法案》，通用目的人工智能系统是指基于通用目的人工智能模型的系统，能够服务于多种目的，既可以直接使用，也可以集成到其他人工智能系统中。
该法案针对特定的人工智能系统以及通用目的人工智能系统引入了透明度要求。例如，如果人工智能系统可以直接与用户互动，提供商应确保告知用户其互动的对象为人工智能系统。如果人工智能系统具有生成合成音频、图像、视频或者文字内容的功能，提供商应当确保将输出内容标注为“由人工智能生成”。在使用生物识别分类或情感识别人工智能系统时，部署者也需要告知用户。
该法案还专门针对通用目的人工智能系统进一步提出了要求。对于影响力较高（根据适当的技术工具和方法评估）的通用目的人工智能系统，法案将其定义为具有系统性风险的通用目的人工智能系统。该法案对通用目的人工智能系统提出了透明度要求。对于具有系统性风险的通用目的人工智能系统，该法案则规定了与风险管理、严重事件监控以及进行模型评估和对抗性测试相关的额外约束性义务。
该法案引入的关于通用目的人工智能系统有关透明度要求以及相关评估与测试要求，是对上述风险问题的积极回应。同时，需要意识到生成式人工智能的发展潜力与方向目前并非完全清晰，因为人们很难准确预测其应用的全部潜能以及可能产生的全部风险。因此，该法案的出台并不意味着人们对生成式人工智能监管方式的探索已经完结。
三、欧盟《人工智能法案》的实施时间及相关影响
欧盟《人工智能法案》将于在官方公报发布后第 20 日生效，并于生效后 24 个月正式实施，但以下情况除外：一是有关禁止使用具有不可接受风险的人工智能系统的规定，将于该法案生效 6 个月后实施；二是有关通用目的人工智能系统提供者的义务、通用目的人工智能系统的罚则以及欧盟成员国对其主管机关的任命等规定，将于该法案生效 12 个月后实施；三是有关某些高风险人工智能系统分类及相关义务，将于该法案生效36 个月后实施。
该法案将对外国企业在欧洲的业务经营产生重大影响。鉴于该法案的域外效力，即使相关企业未在欧盟设立实体，其向欧盟境内提供的人工智能系统产品和服务仍有需符合该法案的要求。对此，相关中国企业应判断其产品和服务的风险等级，并采取必要的合规措施。那些在欧盟已经设立海外实体的中国公司需在欧盟部署人工智能系统时，应审慎履行该法案的合规要求。
（本文刊登于《中国信息安全》杂志2024年第4期）
声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
