文|刘耀华 中国信通院互联网法律研究中心高级研究员
2023年12月8日，欧盟成员国及欧洲议会议员就《人工智能法案》（以下称“法案”）达成初步协议。当前，欧盟仅公布了法案的提案，尚未公布最终的法案版本，下一步，欧盟将就法案的更多技术细节进行最终讨论确定后公布。法案为不同风险程度的人工智能系统施加不同的要求和义务，其提出的风险分类、价值链责任、负责任创新和实验主义治理等思路对我国人工智能立法具有一定的借鉴意义。
一、出台背景
法案是欧盟实现整体战略的关键举措。自2018年以来，欧盟先后出台《欧洲人工智能战略》《人工智能协调计划》两个重要政策文件，初步勾勒出欧盟人工智能的发展战略框架。2020年，欧洲委员会发布了两份有关“塑造欧洲数字未来战略”的政策文件，其中，《人工智能白皮书》关注交通、医疗等公共领域的人工智能发展及风险化解；《欧洲数据战略》提出推动欧盟成为世界上最具竞争力的数字敏捷型经济体，建立欧盟数字单一市场。在此背景下，2021年4月，欧盟出台法案，从而在法律层面强化落实欧盟战略，以期实现引领全球人工智能治理的目标。
法案是促进可信赖人工智能发展的现实基础。人工智能系统可以部署在经济和社会的多个部门，并可以通过跨境部署实现在整个欧盟内流通。已经有成员国探索通过制定国家规则，确保人工智能在遵守基本权利义务的情况下开发和使用，然而，不同的国家规则可能导致内部市场的分裂，并减损法律确定性。因此，为了实现可信赖的人工智能，欧盟通过制定法案为运营商规定统一的义务，确保在整个欧盟范围内提供一致的高水平保护，同时防止出现阻碍人工智能系统及相关产品和服务在内部市场自由流通、创新、部署和采用的分歧。
法案是应对人工智能技术潜在风险的重要方式。ChatGPT等通用人工智能技术的发展，迅速改变人工智能系统的构建和部署方式，其颠覆性特质也带来了侵犯个人隐私、泄露商业秘密、传播虚假信息、造成信息茧房等安全隐患。ChatGPT等人工智能领域近期进展使得立法需求愈发重要、紧迫，因此，欧盟立法者就相关问题展开了广泛且激烈的讨论，欧盟理事会主席国也多次发布法案妥协文本，不断增删、澄清法案内容。
二、主要内容
法案围绕人工智能系统的开发、投放市场及使用制定了监管框架，采用基于风险的规制思路，为不同风险程度的人工智能系统施加不同的要求和义务。其中，禁止对人类安全造成不可接受风险的人工智能系统，为高风险人工智能系统规定具体要求和相关主体义务，并为某些人工智能系统规定透明度度义务。法案提案的具体内容如下：
（一）一般性原则与禁止性规定
法案明确了适用于所有人工智能系统的一般原则以及禁止的人工智能行为。
一是明确了开发和使用人工智能系统或基础模型需遵守的六项一般原则，包括：第一，人类主体和监督，即人工智能系统应作为服务于人、尊重人类尊严和个人自主权的工具来进行开发和使用，其运作方式可以由人类适当地控制和监督。第二，技术稳健性和安全性，即人工智能系统的开发和使用方式应尽量减少意外伤害，并在出现问题时保持稳健。第三，隐私和数据治理，即人工智能系统的开发和使用应符合现有的隐私和数据保护规则，同时，其处理的数据在质量和完整性方面也要符合高标准。第四，透明度，即人工智能系统的开发和使用方式应允许适当的可追溯性和可解释性，同时应使用户意识到他们与人工智能系统的交流或互动，以及适当告知用户该人工智能系统的能力、限制以及对其权利的可能影响。第五，多样性、非歧视和公平，即人工智能系统的开发和使用方式应考虑不同类别的用户，并促进机会平等、性别平等和文化多样性，同时避免欧盟或国家法律禁止的歧视性影响和不公平的偏见。第六，社会和环境福祉，即人工智能系统应以可持续和环境友好方式进行开发和使用，并使所有人类受益，同时监测和评估对个人、社会和民主的长期影响。
二是明确了禁止开发和使用的特定人工智能系统。法案禁止“侵入性”和“歧视性”等人工智能系统的使用，包括：第一，采用超越人类意识的潜意识技术或有目的的操纵、欺骗技术，实质性扭曲人类行为，并可能对人类带来身体或心理伤害。第二，利用个人或特定群体的弱点，包括人格特征、社会经济状况、年龄、身体或精神能力，实质性扭曲人的行为，对人类造成或可能造成重大伤害。第三，为一般目的提供自然人社会评分，可能导致歧视性结果或对某类群体进行排除、限制使用。第四，在公众可进入的空间使用实时、远程生物识别系统。
（二）高风险人工智能系统相关要求
高风险人工智能系统可能对人类的安全及基本权利产生负面影响，是欧盟法案的监管重点。法案通过附件三列举了高风险人工智能系统的范围，包括应用于生物识别和基于生物识别进行推断，关键基础设施的管理和运作，教育和职业培训，就业、工人管理和获得自营职业，获得和享受基本的私人服务和公共服务及福利，执法工作，移民、庇护和边境管制管理，司法行政和民主进程等领域的人工智能系统。同时，法案通过专章对高风险人工智能系统进行规范，明确了高风险人工智能系统的具体要求以及产业链相关主体的义务。
一方面，对高风险人工智能系统规定了具体要求：第一，建立风险管理制度。在人工智能系统的整个生命周期中，应建立、实施、记录和维护与高风险人工智能系统有关的风险管理系统。第二，建立数据管理制度。高风险人工智能系统的训练、验证和测试数据集应满足适合系统预期目的的数据管理要求。第三，制定技术文件。应在该系统投放市场或投入使用之前制定高风险人工智能系统的技术文件，并保持更新。第四，留存相关记录。高风险人工智能系统的设计和开发应具有在系统运行时能够自动记录事件的能力。第五，保障系统的准确性、稳健性和网络安全。
另一方面，针对高风险人工智能系统产业链的不同参与者明确了细化的义务性要求：
高风险人工智能系统的提供者是指开发人工智能系统的自然人、法人、公共当局或其他机构。相关义务主要包括：第一，保障系统安全，提供者应确保高风险人工智能系统满足上述高风险人工智能系统相关要求；建立质量管理系统；确保进行人为监督的自然人了解自动化相关风险；遵守备案义务，在欧盟数据库中备案该系统；发现高风险人工智能系统不符合法案规定时，立刻采取纠正措施并通知分发者、进口者、主管部门以及部署者等；确保高风险人工智能系统符合无障碍要求。第二，标明相关信息，在高风险人工智能系统上标明提供者的名称、商标、地址、联系方式等信息；在高风险人工智能系统上以明显、清晰的方式加贴永久性CE标志。第三，留存相关资料，制定并保存高风险人工智能系统技术文件；保留高风险人工智能系统自动生成的日志；应国家监督机构的合理要求，提供所有必要的信息和文件，以证明高风险人工智能系统符合相关要求。
高风险人工智能系统的进口者是指将带有在欧盟外自然人或法人名称、商标的人工智能系统，投放市场或投入使用的欧盟内自然人或法人。主要义务包括：确保提供者实施了相关合格评估程序；确保提供者起草了技术文件；确保人工智能系统带有所需的合格标志，并附有所需的文件和使用说明。此外，进口者也应按规定履行信息披露的义务以及与主管部门合作的义务。
基础模型提供者是指在海量数据集上进行规模化训练的人工智能模型提供者。基础模型提供者在向市场提供模型前，均应确保该模型符合以下要求：第一，确保系统满足使用要求，进行适当的系统设计、测试和分析；通过评估，确保基础模型在整个生命周期内满足性能、可预测性、可解释性、可纠正性、安全性和网络安全等方面要求；制定广泛的技术文件和可理解的使用说明；建立质量管理系统。第二，满足数据处理、效率要求，只处理和使用满足基础模型数据处理目的的数据集；提高系统的整体效率。第三，进行备案，提供者应在欧盟数据库中对该基础模型进行备案。此外，将基础模型专门用于生成式人工智能时，基础模型提供者还应当：遵守透明度义务，采取足够的保障措施防止产生违反欧盟法律的内容；在不影响国家或欧盟版权立法的情况下，记录并公开提供受版权法保护的训练数据使用情况的详细摘要。
高风险人工智能系统部署者是指在授权情况下使用人工智能系统的自然人或法人、公共当局、或其他机构。相关义务包括：第一，适当使用，部署者应采取适当的技术和组织措施，以确保按照系统所附的使用说明使用这些系统。第二，开展人为监督，在部署者对高风险人工智能系统进行控制的情况下，应按照法案要求实施人为监督；确保进行监督的自然人有能力、有适当的资格和培训，并拥有必要的权力；确保定期监测系统稳健性和网络安全措施的有效性。第三，开展评估，在高风险人工智能系统投入使用前，部署者应进行基本权利影响评估，评估因素包括系统的预期目的、预期使用的地理与时间范围、可预见的影响与风险、降低负面影响的方案等内容。
（三）人工智能治理机制
为实现对于人工智能系统的有效治理，欧盟引入了人工智能办公室和成员国监督机构。一方面，设立欧盟人工智能办公室。人工智能办公室由管理委员会、秘书处、咨询论坛组成，负责促进法案的实施并协调各成员国监督机构之间的合作，从而避免成员国各自为政，确保单一市场的最佳运作。另一方面，各成员国应指定一个国家监督机构。国家监督机构应根据法案监测各项规定的适用情况，并通过与其他成员国的监督机构、相关的国家主管部门、欧盟委员会、人工智能办公室之间的合作，促进法案在整个欧盟的一致适用。
声明：本文来自CAICT互联网法律研究中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
