引言
2023年10月18日，国家互联网信息办公室（“网信办”）发布《全球人工智能治理倡议》，重申各国应在人工智能治理中加强信息交流和技术合作，共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。2023年11月1日，中国、美国、欧盟、英国在内的二十余个主要国家和地区在英国主办的首届人工智能安全全球峰会上共同签署了《布莱切利宣言》（The Bletchley Declaration），承诺以安全可靠、以人为本、可信赖及负责的方式设计、开发、部署并使用AI。2023年11月8日，习近平主席在2023年世界互联网大会乌镇峰会开幕式发表的视频致辞中指出，愿同各方携手落实《全球人工智能治理倡议》，促进人工智能安全发展。由此可见，人工智能已成为维护国家安全的新疆域，人工智能安全是我国政府一贯密切关注的重要议题。人工智能作为全球战略性与变革性信息技术，在对经济社会发展和人类文明进步产生深远影响的同时，也在网络安全、数据安全、算法安全、信息安全等领域引发新型国家安全风险。为防范上述风险，各国必将逐步健全和完善人工智能治理相关的法律法规。我们在此前与上海人工智能研究院、华为技术有限公司、上海昇思AI框架&大模型创新中心共同编制的《大模型合规白皮书》中，对于美国、欧盟以及我国在大模型及人工智能方面的法律监管现状进行梳理，本文作为“国家安全法律专题”系列文章的第二篇，将重点围绕人工智能安全这一主题，为企业等制定和实施人工智能安全治理措施提供参考。
01 AI安全与合规要点概览
前述《全球人工智能治理倡议》、《布莱切利宣言》以及美国、欧盟、英国等主要国家和地区人工智能治理相关监管规则中均提出有关人工智能安全的要求。其中，我国《全球人工智能治理倡议》以及美国总统拜登于2023年10月签署的《关于安全、可靠和值得信赖的人工智能的行政命令》特别提出了针对国家安全风险的防范措施：
根据《全球人工智能治理倡议》，面向他国提供人工智能产品和服务时，应尊重他国主权，严格遵守他国法律，接受他国法律管辖；反对利用人工智能技术优势操纵舆论、传播虚假信息，干涉他国内政、社会制度及社会秩序，危害他国主权；此外，发展人工智能应坚持“智能向善”的宗旨，遵守适用的国际法，符合和平、发展、公平、正义、民主、自由的全人类共同价值，共同防范和打击恐怖主义、极端势力和跨国有组织犯罪集团对人工智能技术的恶用滥用，各国尤其是大国对在军事领域研发和使用人工智能技术应该采取慎重负责的态度。
根据《关于安全、可靠和值得信赖的人工智能的行政命令》（Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence），开发任何对国家安全、国家经济安全或国家公共健康和安全构成严重风险的基础模型的公司在训练模型时必须通知联邦政府，并且必须共享所有红队安全测试的结果；美国国家标准与技术研究院、国土安全部、能源部将负责一系列标准、工具和测试，帮助确保人工智能系统安全、可靠和可信；国家安全委员会和白宫办公厅主任将制定一份国家安全备忘录，指导有关人工智能和安全的进一步行动，以确保美国军方和情报界在执行任务时安全、合乎道德和有效地使用人工智能，并将指导采取行动，打击对手在军事上使用人工智能。
我们理解人工智能安全涉及国家安全的多个领域，如军事安全、政治安全、社会安全、经济安全、信息安全、算法安全、数据安全、网络安全等，具体而言：
1.军事安全与政治安全
AI在军事作战、社会舆情等领域的应用可能会影响一国的军事安全和政治安全。一方面，AI可能通过基于收集用户画像进行深度引导并传播政治主张，对不同的政治信仰、国家、种族、团体进行有失公平的区别对待，在具有复杂历史背景的问题上与开发者立场保持一致等途径影响公众政治意识形态，间接威胁国家的军事与政治安全。另一方面，AI可用于构建新型军事打击力量，例如提供最新的战场态势和战术建议、智能分析情报、协助武器智能化，从而提升战斗能力，直接威胁国家安全。
2.社会安全
AI的运用与发展对社会安全有着直观的影响。AI的发展滋生了多种新型违法犯罪，例如利用生成式AI定制个性化诈骗话术行使诈骗敲诈、利用AI合成虚假的私人视频或色情视频进行侮辱诽谤、利用AI“刷单”“造粉”制造冲突、操控舆论以制造或推动网络暴力等。此外，高度自治的AI系统，如无人驾驶汽车、医疗机器人等，一旦出现数据泄露、网络连通性差等问题可能会直接危害人类身体健康甚至生命安全。同时，受到训练数据或决策算法有偏见、AI产品缺乏道德约束、与AI相关的安全事件追责难等因素的影响，AI产品可能会对社会现有伦理道德体系造成强烈冲击。
我国《全球人工智能治理倡议》、美国《关于安全、可靠和值得信赖的人工智能的行政命令》以及欧盟《人工智能法案》（Artificial Intelligence Act，“AI法案”）均强调了AI在社会安全方面引发的风险：
《全球人工智能治理倡议》提出，坚持公平性和非歧视性原则，避免在数据获取、算法设计、技术开发、产品研发与应用过程中，产生针对不同或特定民族、信仰、国别、性别等偏见和歧视。同时，坚持伦理先行，建立并完善人工智能伦理准则、规范及问责机制，形成人工智能伦理指南，建立科技伦理审查和监管制度，明确人工智能相关主体的责任和权力边界，充分尊重并保障各群体合法权益，及时回应国内和国际相关伦理关切。
《关于安全、可靠和值得信赖的人工智能的行政命令》提出，美国将基于《人工智能权利法案蓝图》以及以一系列行政命令，指示各机构打击算法歧视，同时执行现有授权以保护人们的权利和安全，确保人工智能促进公平和公民权利；卫生与公众服务部还将制定一项安全计划，接收涉及人工智能的伤害或不安全医疗行为的报告，并采取行动予以补救。
AI法案提出，采用潜意识技术或有目的的操纵或欺骗技术、利用个人或社会群体的弱点（例如已知的人格特征或社会经济状况、年龄、身体精神能力）、利用人的社会行为或人格特征进行社会评分的AI系统均属于存在不可接受风险的AI系统，严厉禁止使用。针对高风险AI系统，AI系统部署方必须进行基本权利影响评估，并向国家当局通报评估结果；此外，高风险AI系统必须在技术上具有稳健性，以确保技术适用于其目的，并且虚假的正面/负面结果不会对受保护群体（例如种族或民族起源、性别、年龄等）产生不成比例的影响，同时需要使用足够具有代表性的数据集进行训练和测试，以最小化模型中潜在的不公平偏见风险，并确保可以通过适当的偏见检测、纠正和其他缓解措施来解决这些问题。
3.经济安全
AI可能会给国家经济安全带来诸多风险，例如结构性失业、行业寡头垄断等等。在结构性失业方面，在AI与传统行业融合的过程中，AI从替代人类的手足和体力发展到替代人类的大脑，使得重复体力劳动者、简单脑力从业者、咨询分析等知识型行业甚至艺术行业等都可能面临下岗威胁，可能会导致结构性失业。在行业寡头垄断方面，AI产品对算法、算力和数据的高度依赖，可能导致科技企业的寡头垄断，例如，目前生成式AI平台和应用系统大部分由国外互联网巨头及其参股或控股公司研发而成，这些企业可以根据自身积累的数据优势、建立“数据壁垒”，可能导致AI初创企业入局难。
我国《全球人工智能治理倡议》、美国《关于安全、可靠和值得信赖的人工智能的行政命令》也关注到了AI对经济安全造成的风险：
《全球人工智能治理倡议》提出，发展人工智能应坚持相互尊重、平等互利的原则，各国无论大小、强弱，无论社会制度如何，都有平等发展和利用人工智能的权利。鼓励全球共同推动人工智能健康发展，共享人工智能知识成果，开源人工智能技术。反对以意识形态划线或构建排他性集团，恶意阻挠他国人工智能发展。反对利用技术垄断和单边强制措施制造发展壁垒，恶意阻断全球人工智能供应链。
《关于安全、可靠和值得信赖的人工智能的行政命令》提出，为了降低人工智能带来的工作场所监控增加、偏见和工作流失等风险，支持工人集体谈判的能力，并投资于所有人都能获得的劳动力培训和发展，美国将制定原则和最佳实践，通过解决工作转移、劳动标准、工作场所公平、健康和安全以及数据收集等问题，减少人工智能对工人的伤害，最大限度地提高人工智能对工人的益处，这些原则和最佳实践也将为工人提供指导，防止雇主对工人的补偿不足、对求职申请的评估不公或影响工人的组织能力，从而使工人受益；此外，美国还将促进公平、开放和有竞争力的人工智能生态系统，为小型开发者和企业家提供获得技术援助和资源的机会，帮助小型企业将人工智能突破商业化。
4.信息安全
AI信息安全主要包括AI技术应用于信息传播以及AI产品输出的信息内容安全问题。在信息传播方面，以融合了AI技术的智能推荐为例，智能推荐能够根据用户的浏览记录、交易信息等数据对用户兴趣爱好、行为习惯进行分析与预测，并根据用户偏好推荐信息内容，不法分子可能会借助智能推荐将虚假信息、涉黄涉恐、违规言论、钓鱼邮寄等不良信息内容精准地投放给易攻击目标人群，增加了不良信息传播的针对性、有效性和隐蔽性。在输出内容方面，AI技术可能被用来制作虚假信息内容，用以实施诈骗等不法活动，例如通过AI合成能够以假乱真的声音、图像，基于二维图片合成三维模型并根据声音片段修改视频内人物表情和嘴部动作，从而生成口型一致的视频合成内容实施诈骗。
《布莱切利宣言》、美国《关于安全、可靠和值得信赖的人工智能的行政命令》以及欧盟均关注到了利用AI技术生成欺骗性内容、虚假信息的风险：
《布莱切利宣言》提出，人工智能系统操纵内容或生成欺骗性内容的能力可能会带来不可预见的风险，前沿人工智能系统可能放大虚假信息等风险问题；
《关于安全、可靠和值得信赖的人工智能的行政命令》提出，美国将通过建立检测人工智能生成内容和认证官方内容的标准和最佳实践，保护美国人免受人工智能带来的欺诈和欺骗；
为打击虚假信息，2023年6月，欧盟委员会副主席乔罗娃（Vera Jourova）向谷歌、抖音国际版、微软、Facebook和Instagram母公司Meta等超过40家科技企业要求，检测人工智能（AI）生成的图片、视频和文本，向用户提供明确的标记[1]；同时，《AI法案》中亦要求生成深度合成内容的AI系统使用者需要对外告知该等内容是由AI生成或操纵的，而并非真实内容。
5.算法安全
AI算法安全涉及算法设计或实施与预期不符、算法潜藏偏见与歧视、算法黑箱可解释性差等问题。算法设计与实施中可能存在的错误设计目标函数、计算成本过高的目标函数导致无法实际运行或者选用算法模型表达能力与实际情况不匹配等问题会导致算法无法实现设计者的预设目标，最终导致决策偏离甚至出现伤害性结果。由于算法的设计目的、模型选择、数据使用等是设计者和开发者的主观选择，且训练数据作为社会现实的反映本身具有歧视性，训练得出的算法模型也会天然潜藏歧视和偏见。尽管AI本身擅长决策，但由于公司或个人主张商业秘密或私人财产、公众无法理解决策算法源代码、决策算法复杂度高等原因导致的AI算法黑箱或不透明，使得相关监督与审查陷入困境。
为确保算法的安全性、解决算法黑箱问题，欧盟《AI法案》要求针对高风险的AI系统在系统全生命周期落实透明度要求，并且要求AI系统提供方向下游AI系统部署方、分销商等披露特定信息。
6.数据安全
AI带来的数据安全问题包括数据泄露、数据跨境传输等，其中数据泄露问题包括内部泄露和其挖掘分析能力带来的个人信息或隐私暴露。一方面，AI在与用户交互过程中可能收集许多私密或敏感数据，这些数据也会被AI公司用于进一步训练模型，但在训练后的模型中很难删除相关数据。如果这些数据没有得到充分的保护，就可能被不法分子获取，导致个人信息或隐私数据泄露的风险增加。另一方面，AI可基于其采集到无数个看似不相关的数据片段，通过深度挖掘分析得到更多与用户个人信息或隐私相关的信息，导致现行的数据匿名化等安全保护措施无效。同时，根据部分AI产品的运作原理，用户在对话框进行交互时，相关问答数据可能会被传输到位于境外的产品开发公司，其间数据的跨境流动可能会引发数据跨境安全问题。
我国、美国以及欧盟等国家和地区均将数据安全视为AI安全方面最为重要的问题之一：
我国《全球人工智能治理倡议》提出逐步建立健全法律和规章制度，保障人工智能研发和应用中的个人隐私与数据安全，反对窃取、篡改、泄露和其他非法收集利用个人信息的行为；
美国《关于安全、可靠和值得信赖的人工智能的行政命令》呼吁国会通过两党数据隐私立法以保护所有美国人的隐私，要求联邦优先支持加快开发和使用保护隐私的技术，提出将制定评估隐私保护技术有效性的指导方针；
欧盟《AI法案》要求AI系统的提供方以及部署方均按照《通用数据保护条例》的要求履行数据保护的义务，其中，AI系统的提供方需对AI系统进行数据保护影响评估并发布摘要，以及提供输入数据或所使用的数据集的任何其他相关信息的说明。
7.网络安全
AI学习框架和组件存在的安全漏洞可能会引发系统安全问题。目前，国内AI产品和应用的研发往往基于国内外科技巨头发布的AI学习框架和组件展开，该等框架和组件很有可能未经严格测试管理和安全认证从而可能存在漏洞和后门等安全风险，一旦被攻击者恶意利用，就有可能会危及AI产品和应用的完整性和可用性。同时，AI技术也可能被用来提升网络攻击效率与破坏能力。AI产品自动生成代码的能力使得黑客更为便捷地设计、编写和执行恶意代码与指令以生成网络攻击工具，且攻击方将利用AI更快、更准地发现漏洞，发起更隐秘的攻击。
为应对AI模型被广泛使用而带来的网络风险，欧盟《AI法案》要求具有系统性风险的AI模型（即使用总计计算能力超过10^25 FLOPs训练的通用人工智能模型）提供方履行进行风险评估、减轻风险、报告严重事件、进行尖端测试和模型评估、确保网络安全等一系列合规义务。此外，根据欧盟的现行要求，前述具有系统性风险的AI模型的标准可能会根据技术进展进行更新，并在特定情况下基于其他标准（例如用户数量或模型的自治程度）判定AI模型为具有系统性风险的AI模型。
02 当前中国新国家安全格局下的AI安全实践
结合上述主要国家和地区在AI安全方面的关注重点以及AI安全在中国的实践，我们理解企业构建AI安全体系时，至少应该将下述要点纳入考量：
1.国家安全角度的整体要求
根据《中华人民共和国国家安全法》[2]对于国家安全的定义，国家安全是指国家政权、主权、统一和领土完整、人民福祉、经济社会可持续发展和国家其他重大利益相对处于没有危险和不受内外威胁的状态，以及保障持续安全状态的能力。这就意味着，国家安全的目标是追求一个相对稳定的低风险状态，而国家安全法的立法目的是实现针对国家安全的冲击和威胁的治理。
如前文所述，作为具有颠覆性意义的通用目的技术（General Purpose Technology），AI技术的发展将对国家社会经济生活产生重大影响，因此，应当从国家安全角度对AI技术进行重点规制。结合前述AI安全的要点，以及《中华人民共和国国家安全法》等法律法规，我们理解，AI产品的全生命周期都应当遵守《中华人民共和国国家安全法》在政治安全、军事安全、经济安全、文化安全、社会安全、科技安全、网络安全等国家安全领域的原则性要求。倘若AI产品涉及《中华人民共和国国家安全法》第五十九条规定影响或者可能影响国家安全的外商投资、特定物项和关键技术、网络信息技术产品和服务、涉及国家安全事项的建设项目，还需按照我国国家安全审查和监管的制度和机制进行相应的国家安全审查。
2.科技伦理安全
如前文所述，社会安全是AI安全的要点之一，而伦理安全是实现社会安全的基础。在我国，2017年，国务院印发《新一代人工智能发展规划》并在该规划中提出了制定促进人工智能发展的法律法规和伦理规范的要求，之后《中华人民共和国科学技术进步法》、《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》、《网络安全标准实践指南—人工智能伦理安全风险防范指引》等一系列法律法规和相关规定相继对于AI伦理治理的要求予以规定。2022年中共中央办公厅、国务院办公厅发布了《关于加强科技伦理治理的意见》，该意见是我国首个国家层面的、专门针对科技伦理治理的指导性文件，提出了科技伦理治理原则以及基本要求。2023年10月新发布的《科技伦理审查办法（试行）》对于科技伦理审查的基本程序、标准、条件等提出统一要求，标志着我国AI伦理治理监管体系建设进入了新阶段。我们在下表中梳理了我国与AI伦理治理相关的法律法规及其主要内容：
基于上述法律法规和相关规定的要求，AI领域的企业应当承担相应AI伦理治理责任，具体而言：
在程序层面，如AI领域的企业涉及开展《科技伦理审查办法（试行）》适用范围内的科技活动，需自行设立科技伦理（审查）委员会或委托其他单位的科技伦理（审查）委员会对于所涉科技活动进行科技伦理审查，如涉及“具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发”、“面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发”，还需报请所在地方或相关行业主管部门组织开展专家复核，亦即，对于特定领域，科技伦理审查将成为算法备案以及安全评估以外AI产品上线前的另一前置程序。
在实体层面，目前尚未出台法律法规对于AI伦理治理细则予以规定，尽管如此，一方面，目前《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》均要求大模型服务提供者履行伦理治理方面的合规义务；另一方面，《新一代人工智能伦理规范》[3]、《网络安全标准实践指南—人工智能伦理安全风险防范指引》[4]等与AI伦理治理相关的国家标准均已发布，其他相关国家标准、团体标准以及行业标准亦均在制定过程中。因此，AI领域的企业可以参照前述国家标准，进行自我定位，明确自身的AI伦理治理责任。
3.算法安全
网信办等九部门于2021年联合发布的《关于加强互联网信息服务算法综合治理的指导意见》以算法安全可信、高质量、创新性发展为导向，对健全算法安全治理机制、构建算法安全监管体系提出建议，包括加强算法治理规范、积极开展算法安全评估。为了解决算法设计或实施与预期不符、算法潜藏偏见与歧视、算法黑箱可解释性差等算法安全问题，《互联网信息服务算法推荐管理规定》（“《算法推荐管理规定》”）、《互联网信息服务深度合成管理规定》（“《深度合成管理规定》”）、《生成式人工智能服务管理暂行办法》[5]（“《AIGC暂行办法》”）、《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》[6]（“《安全评估规定》”）等法律法规对算法备案、安全评估、算法公开、算法管理等进行规定，以实现算法的透明性、公平性、可控性，具体而言：
在算法备案方面，《算法推荐管理规定》、《深度合成管理规定》、《AIGC暂行办法》都对算法推荐服务、深度合成服务、生成式人工智能服务提出了算法备案要求。根据《算法推荐管理规定》，具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息，履行备案手续。
在安全评估方面，《算法推荐管理规定》、《深度合成管理规定》、《AIGC暂行办法》要求对于具有舆论属性或社会动员能力的算法推荐服务、深度合成服务、生成式人工智能服务按照《安全评估规定》通过全国互联网安全管理服务平台完成安全评估。根据《安全评估规定》，下述类型的互联网信息服务提供者需按《安全评估规定》自行进行安全评估：（i）开办论坛、博客、微博客、聊天室、通讯群组、公众账号、短视频、网络直播、信息分享、小程序等信息服务或者附设相应功能；（ii）开办提供公众舆论表达渠道或者具有发动社会公众从事特定活动能力的其他互联网信息服务。在此基础上，《安全评估规定》规定了互联网信息服务提供者应自行进行安全评估的具体情形。除进行自行安全评估的义务以外，《安全评估规定》还要求前述互联网信息服务提供者应履行消除安全隐患、形成安全评估报告、提交安全评估报告等各项义务。除前述安全评估以外，《AIGC暂行办法》还特别要求深度合成服务提供者和技术支持者提供具有以下功能的模型、模板等工具的，应当依法自行或者委托专业机构开展安全评估：（一）生成或者编辑人脸、人声等生物识别信息的；（二）生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。
在算法公开方面，《算法推荐管理规定》要求算法推荐服务提供者优化检索、排序、选择、推送、展示等规则的透明度和可解释性，以显著方式告知用户其提供算法推荐服务的情况，并以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等。《AIGC暂行办法》要求生成式人工智能服务提供者应当基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性；明确并公开其服务的适用人群、场合、用途；如有关主管部门依据职责对生成式人工智能服务开展监督检查，生成式人工智能服务提供者应当依法予以配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明。
在算法管理方面，《算法推荐管理规定》要求算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等，不得设置诱导用户沉迷、过度消费等违反法律法规或者违背伦理道德的算法模型。《AIGC暂行办法》要求生成式人工智能服务不得生成民族歧视内容，且在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，应采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视。
基于上述法律法规和相关规定的要求，我们理解针对AI产品，需要履行算法备案、安全评估等监管手续，此外还需遵守前述算法公开、算法管理等要求。值得注意的是，在算法备案方面，在选择“生成合成类（深度合成）算法”这一算法类型进行算法备案时需要区分备案主体身份（“深度合成服务技术支持者”或“深度合成服务提供者”），即AI产品的服务提供方和技术支持方需要作为不同的备案主体对同一算法进行备案，二者在算法备案项下的义务相互独立而不可互相替代。在安全评估方面，除需要对AI产品按照《安全评估规定》通过全国互联网安全管理服务平台完成安全评估以外，还需进行新技术新应用安全评估（“双新评估”），而关于双新评估的具体流程以及要求仍有待监管部门进一步公开。
4.信息安全
我国法律法规和相关规定主要规定了内容标识以及内容治理等方面的要求，以防范深度合成技术、生成式人工智能服务以及其他新技术新应用对信息的生成和传播造成的风险，具体而言：
在内容标识方面，《网络音视频信息服务管理规定》[7]、《深度合成管理规定》、《AIGC暂行办法》对使用深度合成服务、生成式人工智能服务、基于深度学习/虚拟现实等新技术新应用生成的内容标识要求进行规定，其中，《深度合成管理规定》规定了内容标识的具体要求。根据《深度合成管理规定》，深度合成服务提供者应根据深度合成服务的类型对使用其服务生成或者编辑的信息内容进行标识：（1）使用一般深度合成服务生成或者编辑的信息内容，应当添加不影响用户使用的标识；（2）使用具有生成或者显著改变信息内容功能的深度合成服务[8]生成或者编辑的信息内容，且可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。此外，为贯彻落实《AIGC暂行办法》有关内容标识的要求，指导生成式人工智能服务提供者等有关单位做好内容标识工作，全国信息安全标准化技术委员会秘书编制了《网络安全标准实践指南——生成式人工智能服务内容标识方法》（TC260-PG-20233A）并于2023年8月发布，该指南围绕文本、图片、音频、视频四类生成内容给出了具体的内容标识方法，包括添加显示区域标识、提示文字标识、隐藏水印标识、文件元数据标识、提示语音标识。
内容治理方面，《网络音视频信息服务管理规定》要求网络音视频信息服务提供者和网络音视频信息服务使用者不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息；网络音视频信息服务提供者应当建立健全辟谣机制，发现网络音视频信息服务使用者利用基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播谣言的，应当及时采取相应的辟谣措施，并将相关信息报网信、文化和旅游、广播电视等部门备案。《深度合成管理规定》要求深度合成服务提供者应当建立健全违法和不良信息识别特征库，并对发现的违法和不良信息依法采取处置措施、记录网络日志并及时向网信部门和有关主管部门报告。《AIGC暂行办法》要求生成式人工智能服务提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务；根据《网络信息内容生态治理规定》[9]，网络信息内容生产者是指制作、复制、发布网络信息内容的组织或者个人；网络信息内容生产者责任包括不得制作、复制、发布违法信息，且应当采取措施，防范和抵制制作、复制、发布不良信息。
根据前述法律法规和相关要求，针对利用AI技术生成的内容，服务提供者应根据AI技术类型以及内容类型进行不同形式的标识，以与其他内容进行区分。此外，为了防范利用AI技术生成的违法和不良信息的传播，服务提供者应建立健全违法和不良信息识别特征库，避免生成违法和不良信息，并对发现的违法和不良信息依法采取处置措施、记录网络日志并及时向网信部门和有关主管部门报告。为了防范利用AI技术生成的虚假信息的传播，服务提供者不得生成虚假新闻内容，并应建立健全辟谣机制，对发现的谣言及时采取相应的辟谣措施并将相关信息报网信、文化和旅游、广播电视等部门备案。
5.网络安全
我国网络安全法律体系以《中华人民共和国网络安全法》[10]为基础，并通过《网络安全审查办法》[11]、《网络产品安全漏洞管理规定》[12]等配套法规对于《中华人民共和国网络安全法》中的原则性规定予以细化，具体而言：
《中华人民共和国网络安全法》规定了网络运营者应当履行的网络安全保护义务。网络运营者，是指由计算机或者其他信息终端及相关设备组成的按照一定的规则和程序对信息进行收集、存储、传输、交换、处理的系统的所有者、管理者和网络服务提供者。网络运营者的网络安全保护义务涉及网络运行安全、网络信息安全等两个方面。从网络运行安全的角度出发，网络运营者应当按照网络安全等级保护制度的要求，履行下列安全保护义务，保障网络免受干扰、破坏或者未经授权的访问，防止网络数据泄露或者被窃取、篡改：制定内部安全管理制度和操作规程，采取防范危害网络安全行为、监测记录网络安全事件等的技术措施，制定网络安全事件应急预案应对危害网络安全的事件，并在发生相应事件时向有关主管部门报告。从网络信息安全的角度出发，网络运营者应当设立用户信息保护制度，并采取技术措施和其他必要措施确保其收集的个人信息安全，防止信息泄露、毁损、丢失。
《网络安全审查办法》要求关键信息基础设施运营者采购网络产品和服务，网络平台运营者开展数据处理活动，影响或者可能影响国家安全的，应当进行网络安全审查。此外，掌握超过100万用户个人信息的网络平台运营者赴国外上市，必须向网络安全审查办公室申报网络安全审查。网络安全审查将重点评估相关对象或者情形的以下国家安全风险因素：
（一）产品和服务使用后带来的关键信息基础设施被非法控制、遭受干扰或者破坏的风险；
（二）产品和服务供应中断对关键信息基础设施业务连续性的危害；
（三）产品和服务的安全性、开放性、透明性、来源的多样性，供应渠道的可靠性以及因为政治、外交、贸易等因素导致供应中断的风险；
（四）产品和服务提供者遵守中国法律、行政法规、部门规章情况；
（五）核心数据、重要数据或者大量个人信息被窃取、泄露、毁损以及非法利用、非法出境的风险；
（六）上市存在关键信息基础设施、核心数据、重要数据或者大量个人信息被外国政府影响、控制、恶意利用的风险，以及网络信息安全风险；
（七）其他可能危害关键信息基础设施安全、网络安全和数据安全的因素。
《网络产品安全漏洞管理规定》对于网络产品提供者、网络运营者和网络产品安全漏洞收集平台的漏洞发行、报告、修补和发布行为进行规定。其中，网络产品提供者是指中华人民共和国境内的网络产品（含硬件、软件）提供者。我们对于《网络产品安全漏洞管理规定》规定的网络产品提供者和网络运营者分别应承担的网络产品安全漏洞管理义务梳理如下：
综上所述，AI产品的服务提供方以及技术支持方作为网络运营者，应当履行《中华人民共和国网络安全法》规定的一般网络安全保护义务，包括建立网络安全等级保护制度，并按照网络安全等级保护制度的要求，履行安全保护义务，并履行个人信息保护义务（详见下文数据安全部分的分析）。值得注意的是，作为实施网络安全等级保护的程序性要求，AI产品的服务提供方以及技术支持方应当完成对象系统的定级、安全建设与整改、测评、备案等相关法定程序。特别地，AI产品的服务提供方以及技术支持方作为网络产品提供者、网络运营者，还应履行《网络产品安全漏洞管理规定》规定的网络产品安全漏洞管理义务。此外，如AI产品的服务提供方、技术支持方自身涉及触发网络安全审查的情形（例如开展数据处理活动影响或者可能影响国家安全的、掌握超过100万用户个人信息的网络平台运营者赴国外上市），应自查是否存在网络安全审查重点评估的国家安全风险因素，并且加强对于上游网络产品和服务提供者的管理；如AI产品的服务提供方、技术支持方涉及向网络安全审查对象（例如关键基础设施运营者）提供网络产品或服务的，应当配合网络安全审查对象履行相应的合规义务。
6.数据安全
数据（含个人信息，下同）是AI的重要生产资料之一。数据安全（含个人信息安全与保护，下同）将直接影响AI的发展安全。
随着《中华人民共和国网络安全法》、《中华人民共和国数据安全法》[13]、《中华人民共和国个人信息保护法》[14]以及其他数据安全相关的法律法规、国家标准的陆续出台，我国已基本形成了数据从收集、存储、使用、加工、传输、提供、公开、删除等全生命周期的合规体系。国家安全视角下的数据安全的合规重点，可参见后续我们关于国家安全视角下的网络安全与数据安全的相关文章。
就AI治理而言，我国多部法律法规和相关规定重申了数据安全的基本要求，并结合AI的特点提出了有针对性的规范：
（1）《算法推荐管理规定》要求算法推荐服务提供者应当落实数据安全管理制度和技术措施[15]；
（2）《深度合成管理规定》重申了前述规定，并要求深度合成服务提供者和技术支持者应当加强训练数据管理，采取必要措施保障训练数据安全，以及训练数据包含个人信息的，应当遵守个人信息保护的有关规定[16]；
（3）《AIGC暂行办法》同样强调提供生成式人工智能服务不得侵害他人隐私权和个人信息权益[17]，以及生成式人工智能服务提供者应当依法承担个人信息处理者责任、履行个人信息保护义务[18]。此外，关于AI预训练、优化训练等数据处理活动，《AIGC暂行办法》强调，生成式人工智能服务提供者应使用具有合法来源的数据和基础模型；采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性；涉及处理个人信息的，应当获得个人同意或具备其他合法性基础[19]；以及
（4）根据《科技伦理审查办法（试行）》，AI科技活动是否符合数据安全的要求是科技伦理审查内容之一。例如，对于涉及以人为研究参与者的AI科技活动，需审查个人隐私数据、生物特征信息等信息处理是否符合个人信息保护的有关规定；对于涉及数据和算法的AI科技活动，需审查数据的收集、存储、加工、使用等处理活动以及研究开发数据新技术等是否符合国家数据安全等有关规定，以及数据安全风险监测及应急处理方案是否得当[20]。
结合前述法律法规及AI产品的生命周期，需从AI模型训练、应用和优化三个阶段分别关注各阶段的数据安全重点，以及日常数据安全体系的搭建和管理：
（1）AI模型训练阶段：模型训练阶段主要涉及数据采集、数据清洗及数据标注等活动。从数据安全的角度，该阶段需重点关注训练数据来源合法合规：训练数据中包含个人信息的，应当取得相关个人信息主体的知情同意或具备其他合法性基础，或者可在数据清洗阶段对相关个人信息进行脱敏处理；针对非个人信息，需注意训练数据中是否可能包含国家秘密、核心数据或重要数据等可能关系国家安全、经济运行、社会稳定、公共健康和安全等的数据，若包含该等数据则需在数据清洗阶段对其进行脱敏处理或采取其他必要的措施。
（2）AI模型应用阶段：模型应用阶段主要涉及用户使用基于AI模型构建的AI产品输入内容，AI产品相应生成内容（主要针对生成式AI）。从数据安全的角度，该阶段需重点关注用户输入数据来源合法合规和AI生成内容的数据泄露风险，以及若AI产品的服务器在境外，还需关注数据跨境传输的风险及相关合规要求（包括取得相关个人信息主体的知情单独同意、个人信息保护影响评估及视情况完成安全评估、备案或认证等）。
（3）AI模型优化阶段：模型优化阶段主要涉及将AI模型应用阶段采集的数据作为训练数据进一步优化AI模型。从数据安全的角度，该阶段需重点关注就使用用户输入数据进一步优化模型时注意用户输入数据中是否包含涉及国家安全、经济运行、社会稳定、公共健康和安全等的敏感数据，并在涉及个人信息时确保合规。
（4）日常数据安全体系的搭建和管理：需注意落实数据安全管理制度和技术措施，依法承担数据保护义务。此外，在针对AI科技活动开展科技伦理审查时，需关注该等科技活动是否符合数据安全的要求。
7.技术出口安全
一般来讲，我国根据出口技术是否具有特殊属性，分别制定了两套不同的出口管控法律制度：
（1）管制技术：国家对两用物项、军品、核以及其他与维护国家安全和利益、履行防扩散等国际义务相关的货物、技术、服务等物项（统称“管制物项”）的出口活动专门制定了出口管制法律法规。其中，与企业经营活动关系较为密切的就是两用技术。涉及两用技术出口管制相关法律制度主要包括《中华人民共和国出口管制法》[21]以及《两用物项和技术进出口许可证管理目录》[22]（下称“两用物项目录”）等。另外，商务部自2022年4月22日发布的《两用物项出口管制条例（征求意见稿）》预计即将成法落地，建议企业予以关注；
（2）民用技术：针对一般民用技术的出口管控法规主要包括《中华人民共和国技术进出口管理条例》[23]、《禁止出口限制出口技术管理办法》[24]以及《中国禁止出口限制出口技术目录》[25]等。
根据初步筛查结果，未见2024年度两用物项目录中列出人工智能相关的物项或技术。与此同时，经查询《禁止出口限制出口技术目录》，在该目录第十五类“计算机服务业”和第十六类“软件业”的限制出口技术项下新增的多项与人工智能相关的技术，如语音合成技术、语音识别技术、交互理解技术、印刷体扫描识别技术、手写体扫描识别技术、拍照识别技术、中英文作文批改技术，特别是基于数据分析的个性化信息推送服务技术等。此外，还新增了多项与网络安全相关的技术，如密码芯片设计和实现技术、量子密码技术以及数据库系统安全增强技术等。此外，目前与人工智能相关的技术没有被列入禁止出口的技术目录，因此，人工智能相关的民用技术目前属于自由出口的技术或者限制出口的技术。由于《禁止出口限制出口技术目录》中表述较为宽泛，涉及人工智能技术出口的企业应当就具体的拟出口技术对照《禁止出口限制出口技术目录》，分析其是否属于限制出口的技术。如企业对于拟出口技术的分类存疑，可以向国家出口管制管理部门提出咨询，由出口管制管理部门给出确定的意见。
对于自由出口的技术，企业应当按照相关法律法规要求，向国务院外经贸主管部门办理登记；对于属于限制出口的人工智能技术，企业应当按照法律要求的时间期限，办理《中华人民共和国技术出口许可证》。如果限制出口的技术的出口经营者在没有取得前述出口许可的情况下擅自出口相关技术，可能被判定为刑法下的走私罪、非法经营罪等，从而被追究刑事责任；尚不够刑事处罚的，将根据海关法的规定进行处罚，或由国务院外经贸主管部门给予警告、罚款、撤销外贸易经营许可等行政处罚。
综合上述法律规定，我们结合实务中的经验，对拟出口人工智能技术的企业提出以下建议：
（1）全面梳理跨境技术合作、投资并购、培训交流、内部技术转移等可能涉及技术出境的风险场景，将技术受控情况纳入境外投资前的立项研究和分析，在审批流程中加入关于技术出境情况和受控情况判断的环节。
（2）由于《禁止出口限制出口技术目录》中对于人工智能相关的技术表述较为宽泛，需要企业将拟向境外传输的人工智能技术与前述目录中的技术描述进行对比分析，判断拟向境外传输的技术是否属于限制出口的技术。
（3）对于经过前述评估分析认为拟出口的技术可能属于涉密技术或限制出口的技术，应当按照法律规定，在法律要求的时间节点及时向有关部门进行申报，申请必要的出口许可。
（4）由于人工智能技术的发展速度较快，对国家安全的影响在不断变化，未来国家可能会在人工智能技术的受控情况方面进行政策或法律的变更或调整，企业应密切关注相关出口管制限制以及中国反制政策的变化，动态调整企业对于受限技术的出口管理。
03 AI安全前瞻性合规风险预测
除前述现行有效的法律法规和相关规定项下的合规要点以外，随着我国对于AI产品研发、设计、部署、运行等各阶段进行约束的法律法规和国家标准体系逐步完善，我们对于AI安全前瞻性合规风险预测如下：
在生成式人工智能领域，全国信息安全标准化技术委员会于2023年10月发布《生成式人工智能服务安全基本要求（征求意见稿）》（“《AIGC安全基本要求草案》”），该草案以《中华人民共和国网络安全法》、《网络信息内容生态治理规定》、《AIGC暂行办法》、《信息安全技术 个人信息安全规范》（GB/T35273）、《网络安全标准实践指南——生成式人工智能服务内容识别方法》等法律法规和相关规定以及国家标准为基础，对于生成式人工智能服务的基本安全要求予以规定，包括语料（即训练数据）安全、模型安全等方面的具体要求、人工智能服务提供者应遵循的相应安全措施以及安全评估的程序和内容。值得注意的是，《AIGC安全基本要求草案》明确要求生成式人工智能服务提供者在进行算法备案申请前，应先行进行安全性评估，并在算法备案时提交内部评估结果以及证明材料；在安全评估的程序和内容方面，《AIGC安全基本要求草案》规定了语料安全、生成内容安全和问题拒答的评估方法，要求安全评估的内容应覆盖《AIGC安全基本要求草案》的所有条款，且每个条款应形成单独的评估结论，并与相关证明、支撑材料形成最终的评估报告。在《AIGC安全基本要求草案》定稿后，其中有关安全评估的要求将弥补我国目前在“双新评估”具体流程和要求方面的立法空白，为AI领域的企业提高AI产品的安全水平以及相关主管部门评价AI产品的安全水平提供参考。
在军事国防安全领域，2017年，国务院印发了《新一代人工智能发展规划》，指出人工智能在国防建设领域得到广泛应用。未来，人工智能将有力提升情报、侦察、通讯、后勤等军事装备的自主性与智能化，并广泛应用于信息情报搜集和分析、战略设计、实施精准打击等，但与此同时，人工智能可能会触发各国人工智能军备竞赛，使未来战争的精准度和破坏力大大提升，增加了新型军事安全威胁。
在航空安全领域，国务院和中央军事委员会发布的《无人驾驶航空器飞行管理暂行条例》（2024年1月1日实施）第五条规定，“国家鼓励无人驾驶航空器科研创新及其成果的推广应用，促进无人驾驶航空器与大数据、人工智能等新技术融合创新”。人工智能技术在航空领域的应用可能会对航空安全管理以及应急事件处置提出新的课题和挑战。此外，人工智能技术在火箭以及卫星行业的应用将大大提升卫星的通信能力以及数据收集和处理能力，而依据卫星收集的精确数据可以针对特定行业，如气象、水利等，进行深度分析，此类分析结论可能对国家安全产生潜在的影响。
04 AI合规体系及搭建指引
综合上述内容，当前我国的实践中，AI领域的企业应当考虑搭建相应的AI安全与合规体系从而对于AI的安全与合规问题形成系统性保障，例如：
1.内部合规管理体系及制度
为满足我国法律法规和相关规定以及国家标准项下关于AI安全的要求，建议AI领域企业结合其所开展的活动以及可能涉及的AI安全领域，建立相应的内部合规管理体系及制度。其中，就资质证照而言，除了增值电信业务经营许可证/ICP备案、公安联网备案、算法备案、安全评估等基础性资质外，AI领域企业还应根据自身的业务模式综合判断是否需要办理特殊业务领域的资质证照，例如网络文化经营许可证、网络出版许可证、信息网络传播视听节目许可证。除此之外，AI领域企业还应结合自身的业务定位建立相应的内控制度，例如科技伦理审查制度（关于科技伦理治理以及科技伦理（审查）委员会的设立，请见《人工智能（AI）：科技伦理治理走起》、《科技伦理（审查）委员会：如何设立？》）、AI内容安全基础审查制度（包括AI语料安全审查制度、AI模型安全制度等）、数据安全制度（包括数据采集合规制度、数据处理合规制度、算法安全及伦理合规制度等）、内容生态治理制度、用户权益保护制度等。关于AI合规制度的设立，请见《AIGC：合规引领探索之路》。
2.外部合作层面
AI领域的企业在对外合作过程中还会与诸多合作方签署不同的商业合作协议。该等商业合作协议根据AI领域的企业自身的性质与合作事项的不同包括AI模型开发/许可协议、数据交易协议等诸多类型，AI领域的企业需要根据不同的协议类型以及自身的商业安排与合作方就各自的权利义务达成一致，在此过程中应当考虑AI安全方面的要求。例如，如企业自身属于网络安全审查的对象，为加强对于上游网络产品或服务提供者的管理，企业应当在与该等上游网络产品或服务提供者签署的商业合作协议中对于上游网络产品或服务提供者的配合网络安全审查义务、保密义务、安全保护义务等进行明确约定。
3.互联网应用层面
倘若AI领域企业的业务涉及AIGC平台等互联网应用，还应当考虑到AIGC平台对于信息安全、数据安全造成的风险，结合AI业务的具体情况，针对用户协议、隐私政策、平台治理规则等文件进行修订。例如，为治理违法和不良信息，AIGC平台的运营方可在用户协议中明确约定，用户需要为其所输入的内容承担相应的责任，如保证不侵犯第三方权利，保证不得含有违反法律法规或公序良俗的信息，并且不得通过大量的负面数据输入企图扭曲模型的输出等，并制定相应的处置措施，例如警告、终止服务等等。
结语
AI技术在金融、医疗、教育等日常生活领域以及生物、医学、材料科学等学科的学术研究领域的广泛应用，为AI领域的企业创造了巨大机遇，但同时也蕴含着不容忽视的风险，如《布莱切利宣言》中所述，人工智能可能表现出的造成安全问题的能力可与当今最先进的模型相提并论甚至可能超越它们。因此，无论企业属于AI产品的研究开发者、设计制造者还是部署应用者，必须高度关注AI安全，通过搭建AI安全与合规体系，履行保障AI安全的义务和责任，共同维护国家安全的新疆域。
下期预告：国家安全法律专题系列（三）——网络和数据安全-筑牢国家安全新防线
脚注：
[1] https://www.stcn.com/article/detail/884259.html。
[2] 2015年7月1日发布并实施。
[3] 国家新一代人工智能治理专业委员会制定，2021年9月25日发布并实施。
[4] 全国信息安全标准化技术委员会秘书处制定，2021年1月5日发布并实施。
[5] 2023年7月10日发布，2023年8月15日实施。
[6] 2018年11月15日发布，2018年11月30日实施。
[7] 2019年11月18日发布，2020年1月1日实施。
[8] 根据《深度合成管理规定》第十七条，具有生成或者显著改变信息内容功能的服务包括：(一)智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务；(二)合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务；(三)人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务；(四)沉浸式拟真场景等生成或者编辑服务；(五)其他具有生成或者显著改变信息内容功能的服务。
[9] 2019年12月15日发布，2020年3月1日实施。
[10] 2016年11月7日发布并实施。
[11] 2021年12月28日发布，2022年2月15日实施。
[12] 2021年7月12日发布，2021年9月1日实施。
[13] 2021年6月10日发布，2021年9月1日实施。
[14] 2021年8月20日发布，2021年11月1日实施。
[15] 《互联网信息服务算法推荐管理规定》第7条。
[16] 《互联网信息服务深度合成管理规定》第14条。
[17] 《生成式人工智能服务管理暂行办法》第4条。
[18] 《生成式人工智能服务管理暂行办法》第9条、第11条。
[19] 《生成式人工智能服务管理暂行办法》第7条。
[20] 《科技伦理审查办法(试行)》第15条。
[21] 2020年10月17日发布，2020年12月1日实施。
[22] 2023年12月29 日发，2024年1月1日实施。
[23] 2020年11月29日发布并实施。
[24] 2009年4月20日发布，2009年5月20日实施。
[25] 2023年12月21日发布并实施。
本文作者
张逸瑞
合伙人
知识产权部
zhangyirui@cn.kwm.com
业务领域：知识产权、数字资产管理交易和战略运营
张逸瑞律师的主要执业领域为一般知识产权业务、科技成果转化、数据和其他数字资产的交易与战略管理。张逸瑞律师尤其擅长元宇宙、人工智能、机器人等前沿高科技产业的法律事务，对于高科技领域有深入的研究和长期的经验，她长期为诸多高科技领域的客户提供综合服务，包括科技成果转化架构搭建(技术出资、技术转让、横向技术联合、纵向技术许可等多种模式)、产学研用一体化、科研人才引进规划、技术秘密风险防范、创新商业模式等。
景云峰
合伙人
公司业务部
jingyunfeng@cn.kwm.com
业务领域：国家安全与中国反制、出口管制与经济制裁、供应链合规与海关监管等
景律师近年来持续研究中国及欧美主要国家在国家安全领域的立法及执法动态，已为众多中国以及外资企业的国际化经营活动提供国家安全与中国反制相关法律服务。景律师近年来还为众多大型央企及知名上市企业就美国、中国、欧盟、日本、韩国等主要国家的出口管制与经济制裁合规提供各类专项法律服务，包括但不限于开展出口管制与经济制裁合规风险尽职调查，撰写风险评估分析报告，编制合规指引，搭建出口合规体系（ECP）等。景律师在供应链合规筹划以及海关监管应对等方面具有十多年的丰富执业经验。
感谢律师冯宝宝、单文钰、蒋孟菲、张一凡、朱佳蔚，律师助理米华林，实习生缪逸泓、张文溢、何一辰、黄若湉对本文作出的贡献。
声明：本文来自金杜研究院，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
