2024年9月9日，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0版（以下简称“《治理框架》”）。《治理框架》确定了人工智能的总体安全治理框架。按照“提出问题”到“解决问题”的逻辑：首先梳理人工智能技术本身及其在应用过程中面临的各种安全风险；之后针对前述安全风险点提出解决方案；最后还针对模型算法研发者、AI服务提供者、重点领域用户和社会公众用户给出了开发应用人工智能技术的若干安全指导规范。本文以《治理框架》为基础，进一步用尽量简单易懂的例子解读风险和应对措施，以飨读者。
本文主要围绕人工智能系统安全风险和应对措施展开讨论。
1. 缺陷、后门被攻击利用风险
人工智能算法模型设计、训练和验证的标准接口、特性库和工具包，以及开发界面和执行平台可能存在逻辑缺陷、漏洞等脆弱点，还可能被恶意植入后门，存在被触发和攻击利用的风险。
以系统缺陷为例，人工智能系统中的漏洞或缺陷是指系统中未发现或未修补的安全问题，攻击者可以利用这些漏洞进行恶意操作。
例如：AI模型的输入验证机制存在缺陷，允许攻击者通过输入恶意数据来操纵模型的输出。如果系统基础设施（如数据库、操作系统）中存在安全漏洞，攻击者可以通过这些漏洞获得对AI系统的未授权访问。
系统缺陷风险：
数据泄露：攻击者可以通过利用漏洞获取系统中的敏感数据。
系统瘫痪：攻击者可能通过漏洞对系统进行拒绝服务（DoS）攻击，导致AI系统无法正常运行。
错误决策：模型的漏洞可能被利用，使AI系统做出错误的决策或预测，影响自动驾驶、医疗诊断等场景。
后门攻击风险是指开发人员或攻击者在AI系统中故意或无意留下的秘密访问点或控制机制，使得在不符合正常安全协议的情况下，攻击者能够进入系统并操控模型或数据。
例如：
AI模型的开发者在模型中植入了后门代码，当攻击者输入特定触发条件时，模型将产生预定的错误输出。例如，某图像分类模型在识别普通交通标志时准确无误，但在面对带有特定符号的标志时，却会错误地将“停止”标志识别为“通行”，从而引发潜在的危险。
在模型训练数据或算法中故意加入恶意代码，使得在特定情况下，攻击者能够通过后门获得对系统的控制。
具体的风险可能是：
操控结果：攻击者可以通过后门操控AI模型，使其在面对特定输入时做出不正常的决策（例如在自动驾驶汽车系统中故意引发错误决策）。
信息窃取：后门可以被攻击者用来获取系统中的敏感数据，如用户隐私信息或商业秘密。
攻击扩散：攻击者可以通过后门进一步入侵系统的其他部分或网络中的其他系统，扩大攻击范围。
可采取的应对措施有：
安全开发和代码审查：在AI系统开发过程中，采用严格的安全开发流程，确保每一步都经过安全性验证；定期进行代码审查和安全测试，识别并修复潜在漏洞和后门。
模型验证和测试：使用防后门检测工具和对抗性测试，对AI模型进行全面的安全性评估，确保模型未被植入恶意后门。
强化访问控制：实施严格的访问控制策略，限制只有经过授权的人员才能访问和修改AI系统的核心代码和模型。
防篡改机制：使用防篡改技术保护模型的完整性，确保模型在使用过程中不会被未经授权的修改或注入恶意代码。
模型更新和监控：定期更新AI模型和系统，修补已知漏洞，并对模型的行为进行持续监控，识别任何潜在的异常活动。
2. 算力安全风险
人工智能训练运行所依赖的算力基础设施，涉及多源、泛在算力节点，不同类型计算资源，面临算力资源恶意消耗、算力层面风险跨边界传递等风险。
AI系统依赖于强大的计算能力来处理大规模的数据和复杂的模型训练，而算力安全风险主要涉及对计算资源的滥用、攻击或不当管理。具体风险和表现包括：
（1）计算资源滥用
攻击者通过未授权的访问，恶意利用AI系统的计算资源进行其他目的的计算，导致系统负载过高或算力资源枯竭。
例如，黑客侵入AI系统或云计算平台，利用其算力进行加密货币挖矿，消耗大量计算资源，导致AI系统性能下降甚至瘫痪。或者攻击者使用“算力劫持”技术，将AI模型的计算资源用于处理无关的任务，影响正常工作流程。
潜在风险：
系统性能下降：正常的AI任务处理速度变慢，甚至导致关键业务中断。
经济损失：算力滥用会增加企业的云计算成本和电力消耗，尤其是当计算资源在云平台上计费时。
（2）拒绝服务攻击（DoS/DDoS）
攻击者通过大量虚假请求或恶意输入，耗尽AI系统的计算资源，使其无法响应合法用户的请求。
例如：攻击者向AI推理系统发送海量的请求，导致系统过载，从而影响关键业务的运行。或者，在训练过程中，攻击者输入大量恶意数据，迫使模型进行复杂的计算，从而拖慢训练进度。
潜在风险：
系统不可用：系统因过载而无法处理正常业务，可能影响到医疗、金融等领域的实时决策。
数据丢失或损坏：系统资源耗尽可能导致数据处理错误或模型崩溃。
（3）资源争夺和优先级问题
在多租户环境中，不同的AI任务可能会争夺有限的计算资源，导致高优先级任务无法及时获得足够的算力支持。
例如：在共享的云计算平台上，低优先级的任务占用了大部分计算资源，导致高优先级的任务（如实时监控系统）无法在规定时间内完成。
潜在风险：
任务延迟或失败：关键任务因资源不足而被延迟或无法完成，特别是在医疗诊断、自动驾驶等对时效性要求高的领域。
服务质量下降：AI系统的响应速度变慢，用户体验恶化，影响业务稳定性。
（4）计算资源过载与可扩展性不足
AI系统中的模型训练和推理需要大量计算资源，随着数据规模和模型复杂度的增加，可能导致系统过载或无法按需扩展。
例如一个企业的AI模型需要处理越来越多的数据，但系统的计算能力未能及时扩展，导致训练速度变慢或模型性能下降。
潜在风险：
计算资源不足：系统无法在高负载条件下保持正常运行，影响AI项目的进度和效率。
经济损失：若系统过载导致任务失败，可能造成商业决策延误或错误，带来直接或间接的经济损失。
（5）恶意算力竞争攻击
攻击者通过恶意行为占用大量的计算资源，阻碍合法用户或任务的计算需求，从而获得竞争优势。
例如，在共享云平台上，竞争对手通过发送大量无用请求，恶意抢占AI计算资源，导致企业的合法AI任务无法按时完成。
潜在风险：市场竞争受损，合法的AI系统因资源竞争受阻，无法在规定时间内交付业务结果，损害企业竞争力，破坏市场秩序。
（6）算力管理和分配中的漏洞
在计算资源的管理和分配过程中，存在不当的配置或管理漏洞，导致计算资源被不当使用或管理不善。
例如，在AI云平台中，管理员误配置了资源分配策略，导致高优先级任务没有获得足够的算力，影响任务的完成。
潜在风险：
效率低下：计算资源没有得到合理配置，导致AI系统整体效率下降。
安全风险：管理漏洞可能使得攻击者通过操作系统或虚拟机漏洞获得对计算资源的控制权。
（7）滥用AI代理（AI Agent Misuse）
AI代理或自治系统在分布式环境中可能控制大量的计算资源，如果被恶意操控，这些代理可能被滥用，导致算力被恶意利用。
例如，一个AI代理在无人机控制系统中被攻击者劫持，利用其计算资源进行非授权任务。
这导致的风险是：系统控制失效：AI代理失控可能导致整个系统被恶意行为操控，甚至影响到公共安全。
（8）能源消耗与环境影响
AI模型的训练过程需要消耗大量的算力，这对能源的消耗有直接影响，尤其是在长时间运行的大规模模型时，能源管理不善可能引发安全问题。
例如，在数据中心，AI系统长时间高负载运行导致能源过度消耗，增加了数据中心的运营成本，并可能引发散热和系统维护问题。
主要风险是资源浪费：能源消耗过大，不仅会增加成本，还可能对环境产生负面影响，尤其是企业未采取节能措施的情况下。
可采取的应对措施有：
（1）资源监控与配额管理
实时监控AI系统的计算资源使用情况，确保资源分配合理，并对异常情况进行及时处理。
通过设置资源配额，防止单个任务或用户滥用算力资源。
（2）防御和检测机制
部署强大的入侵检测系统（IDS）和防火墙，防止恶意攻击者利用漏洞进行算力劫持或拒绝服务攻击。
使用防止DDoS攻击的技术和工具，保障系统在高负载条件下的正常运行。
（3）使用分布式计算和弹性架构
采用分布式计算和云平台的弹性扩展功能，确保AI系统在计算需求突然增加时，能够快速扩展资源，避免过载。
（4）采用节能技术和优化计算资源
通过优化AI模型的训练过程（如模型剪枝、量化等技术），减少算力需求和能源消耗。
在数据中心使用节能设备和绿色能源，减少因长时间运行AI模型带来的环境影响。
（5）合理分配任务优先级
为AI系统中的任务设置合理的优先级，确保关键任务获得足够的计算资源支持。
总的来说，算力安全风险是AI系统中不可忽视的一个重要方面，特别是在大规模模型训练和分布式计算环境中。通过合理的资源监控、漏洞防御、节能措施和任务分配，可以有效减轻算力安全带来的风险，确保AI系统的安全性和稳定性。
3. 供应链安全风险
人工智能产业链呈现高度全球化分工协作格局。但个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒，恶意阻断全球人工智能供应链，带来突出的芯片、软件、工具断供风险。
供应链安全风险指的是在AI系统开发、部署和运行过程中，系统所依赖的第三方组件、硬件、软件和服务可能会引入安全隐患。随着AI系统复杂性的增加，供应链中的任何薄弱环节都可能被恶意利用，影响整个系统的安全性和稳定性。尤其是地缘政治和国际竞争的影响下，尤其需要注意。以下是供应链安全风险的来源及示例。
（1）第三方软件和库的安全问题
AI系统通常依赖于多个第三方软件组件、开源库和框架。这些组件可能存在未被发现的漏洞或被恶意篡改的风险，攻击者可以通过这些漏洞侵入系统。
例如：开源AI框架中存在安全漏洞，攻击者利用该漏洞获取系统访问权限或篡改模型行为。或者，第三方供应商提供的机器学习模型或预训练模型被植入了后门，使得攻击者能够在特定输入条件下触发恶意行为。
潜在风险：
系统被控制：攻击者通过第三方软件中的漏洞获得对系统的控制权。
数据泄露：攻击者利用漏洞窃取敏感数据，如训练数据或模型权重。
（2）硬件供应链风险
AI系统依赖的硬件设备（如GPU、TPU、传感器、服务器）可能会在生产和分发过程中被植入恶意固件或硬件后门，导致系统安全受损。
例如，AI训练所使用的硬件设备中被植入了恶意芯片或固件，允许攻击者通过远程方式监控或篡改系统中的数据和模型。
潜在风险：
数据篡改或泄露：硬件后门可能允许攻击者窃取敏感数据或篡改模型训练过程，导致模型输出错误结果。
系统瘫痪：恶意硬件可能被远程激活，导致系统性能下降甚至完全瘫痪。
（3）云服务供应链风险
许多AI系统依赖于第三方云服务提供商进行模型训练、存储和推理。如果云服务提供商的安全性不足，可能会成为攻击者的目标。
例如：AI模型训练和推理使用的云计算平台遭遇数据泄露或服务商内部人员的恶意行为，导致模型和数据被窃取。或者，云服务的基础设施存在漏洞，攻击者通过这些漏洞获取对AI系统的访问权限。
潜在风险：
数据泄露：托管在云端的训练数据或模型参数被恶意窃取。
服务中断：云服务供应商的安全问题可能导致AI系统的关键服务中断，影响业务连续性。
（4）软件更新供应链风险
AI系统在运行过程中需要定期进行软件更新和补丁修复。如果更新机制不安全或更新来源不可信，可能被攻击者利用来传播恶意软件或后门。
例如，供应商发布的AI模型更新包中包含了未被察觉的恶意代码，用户在更新系统时不知情地引入了安全威胁。
潜在风险：
系统被篡改：通过恶意更新，攻击者可以植入后门或恶意代码，从而影响AI系统的安全性和功能。
模型攻击：模型更新过程中，恶意代码可能对模型行为进行微调，导致预测结果失准或被操控。
（5）外包和第三方服务风险
在AI系统的开发和维护过程中，企业可能依赖外部供应商或外包服务。第三方人员的安全素养和可信度直接影响系统的安全性。
例如，一个公司外包的AI模型标注服务方雇佣的员工在数据标注过程中故意引入错误数据，影响模型的训练质量。或者，外包开发的代码中被植入后门，开发方或黑客利用这些后门进行攻击。
潜在风险：
数据泄露和篡改：外包方或第三方供应商可能因安全管理不足或恶意行为导致数据泄露或篡改。
不安全的模型或代码：外部开发的模型或代码可能未经充分测试和安全审查，增加安全隐患。
供应链安全风险的应对措施
（1）供应链透明度和安全审查：
在引入第三方组件、硬件或服务时，确保供应链的透明性，要求供应商提供详细的安全保证和安全测试报告。
对供应链的各个环节进行安全审计，确保其符合安全标准，并定期进行供应商的安全评估。
（2）第三方软件安全验证：
对所有使用的第三方开源库和软件进行安全验证，使用安全扫描工具识别潜在的漏洞。
在使用第三方模型或预训练模型前，进行详细的代码审查和模型测试，以确保其安全性。
（3）硬件安全认证和检测：
选择经过认证的硬件供应商，确保所采购的硬件符合行业安全标准，并且进行独立的安全检测。
使用防篡改技术和硬件加密措施，保护硬件设备免受恶意篡改和攻击。
（4）云服务安全管理：
选择有良好安全记录和认证的云服务供应商，并与供应商签署严格的数据保护协议（如GDPR合规）。
对云端存储的数据和模型进行加密，确保即使云供应商遭到攻击，敏感信息也不会被泄露。
（5）软件更新和补丁管理：
实施安全的更新机制，使用签名验证技术确保软件更新的来源可信，并在更新之前进行详细的安全检查。
自动化安全补丁管理，确保及时修复已知漏洞，同时监控系统更新后的行为，以识别潜在的安全威胁。
（6）外包安全协议：
与外包服务方签署明确的安全协议，确保他们符合数据安全和隐私保护的要求。
对外包开发的代码和模型进行定期的安全测试和审核，防止潜在的恶意行为或代码被引入系统。
总的来说，人工智能供应链安全风险涉及多个环节，包括第三方软件、硬件、云服务、更新机制和外包服务等。在这些环节中，如果任何一个环节的安全性未能得到有效保障，都会对AI系统的整体安全性构成威胁。通过严格的供应链审查、安全认证、数据加密、以及外包管理，能够有效减少供应链安全风险对AI系统的影响。（张晓丽）
声明：本文来自数据合规与治理，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
