2023年1月26日，NIST发布NIST AI 100-1《AI风险管理框架1.0》（Artificial Intelligence Risk Management Framework，AI RMF），其目标在于为设计、开发、部署、应用AI系统的组织提供参考，以使之能够在控制多样性风险的同时，促进可信赖、负责任AI系统的开发与应用。同时，NIST出版了与之配套的AI风险管理框架行动手册、讲解视频等，协助理解和使用AI RMF。AI RMF具有自愿性、基于权益保护原则、普遍适用性等特征，从而能够为不同规模、不同领域乃至全社会的各相关组织提供参考。
一、背景情况
AI技术在改变社会和人类生活方面具有巨大潜力，其应用涵盖商业、健康、交通、网络安全、环境等众多领域。但同时AI技术的应用也带来了很多新的风险，例如：使用不合适的数据集会导致AI模型准确性受到影响、AI算法可能潜藏偏见或歧视、AI算法的黑箱性质存在难解释性、AI系统容易遭受数据投毒和对抗样本攻击等新型攻击。这些风险使AI技术的安全应用充满挑战，若没有适当控制，AI系统会放大、延续和加剧这些风险带来的负面影响。
2021年1月1日，美国正式颁布《2020年国家人工智能倡议法案》（National Artificial Intelligence Initiative Act of 2020），该法案的主要目标包括：
1）确保美国在AI研究和开发方面继续保持领导地位；
2）在公共和私营组织中开发和使用值得信赖的AI系统，并达到世界领先；
3）为当前和未来的美国劳动力做好准备，以便整合各部门AI系统；
4）协调民间机构、美国国防部和情报界正在进行的人工智能研究、开发和演示活动，确保信息互通和工作协调。
此外，该法案指定NIST推进AI相关的标准、指南和技术的研究，并要求NIST在法案颁布2年内，与私营和公共部门合作起草AI RMF。NIST于2021年7月启动AI RMF意见征集工作；2022年3月形成AI RMF第一版草案；2022年8月形成AI RMF第二版草案；2023年1月26日AI RMF 1.0正式发布。
二、框架结构
AI RMF 1.0框架包括六个章节和四篇附录，其中正文分为两个主要部分组成，第一部分——讨论组织如何构建与AI相关的风险框架（第一章）并描述了该框架的目标受众（第二章）。之后，分析了可信人工智能系统的特性（第三章），给出了AI RMF实施效果的评估（第四章）；第二部分——包括AI RMF核心（第五章）和概要（第六章）。各章节的基本内容如下：
1）第一章：框定风险（Framing Risk）。本章描述了AI系统中风险（risk）、影响（impact）和危害（harm）的含义及相互关系，并给出了在AI系统中理解上述概念和应对的建议；之后，给出了为实现AI可信性而进行风险管理的过程中可能面临的挑战，包括：AI风险管理存在风险测量难、AI风险容忍度确定难、AI风险优先级排序难、AI风险管理需与组织其他风险管理整合等等。
2）第二章：受众（Audience）。AI RMF受众指使用AI RMF执行风险管理的实体，准确识别受众是有效执行AI RMF的必要条件，本章从AI系统生命周期的角度给出了如何识别各个阶段的参与者（actor）及其中的受众，理想情况下，这些参与者应当由来自不同学科的人员，代表不同经验、专业知识和背景，从而在AI系统生命周期各阶段有效执行AI RMF。
3）第三章：AI风险和可信度（AI Risk and Trustworthiness）。为了实现可信AI系统，通常需要对对相关方提出的安全准则做出响应，增强AI可信度是减少AI风险带来负面影响的重要手段。本章给出了可信AI系统的特性以及实现这些特性的指南，包括：有效和可靠性、安全（safe）、安全（secure）和弹性、可追责和透明性、可说明和可解释性、隐私增强性、公平性。
4）第四章：AI RMF的效果（Efffectiveness of the AI RMF）。本章对使用AI RMF开展风险管理后，框架有效性的评估内容进行了简单讨论，包括：策略、流程、实践、测量指标、预期结果等方面的改善。NIST计划在后续工作中给出关于AI RMF有效性评估的详细方法。
5）第五章：AI RMF核心（AI RMF Core）。框架核心包括治理、映射、测量和管理，其中：治理主要在组织的制度流程、组织建设、组织文化、技术能力等方面实行AI风险管理；映射主要用于确定特定场景与其对应的AI风险解决方案；测量主要采用定量和/或定性的工具、技术和方法来分析、评估、测试和监控AI风险及其相关影响；管理主要是将相关资源分配给相应的AI风险，进行风险处置。
6）第六章：AI RMF概要（AI RMF Profiles）。本章给出了AI RMF应用时的参考概要：包括AI RMF用例概要、AI RMF时间概要、AI RMF跨部门概要等。AI RMF用例概要是基于用户的需求、风险承受能力和资源对AI RMF功能的具体实现；AI RMF时间概要是对特定的部门、行业、组织或应用的AI风险管理活动的当前状态或期望目标状态的描述；AI RMF跨部门概要涵盖了可以跨用例或部门使用的模型或应用的风险。
7）附录A：AI参与者任务描述。
8）附录B：AI系统风险与传统软件风险的区别。
9）附录C：AI风险管理和人智交互。通过了解人智交互的局限性来加强AI风险管理。
10）附录D：AI RMF的属性。
三、主要内容
本文主要就AI RMF框架内与网络安全相关的“第三章 AI风险和可信度”、“第五章 AI RMF核心”两个章节进行详细解读。
（一）AI风险和可信度
增强AI可信度是有效减少AI风险带来的负面影响的重要手段。本框架给出了可信AI系统的特性（见图1），包括：有效和可靠性、安全（safe）、安全（secure）和弹性、可说明和可解释性、隐私增强性、公平-偏见管理、可追责和透明性。其中，有效和可靠性是AI系统可信赖的必要条件，是其他特性的基础，可追责和透明性则与其他所有特性都相关。这些特性的含义大多与已发布的ISO标准保持一致。
图1 可信AI系统的特性
1）有效性是指“通过提供客观证据确认已满足特定预期用途或应用的要求”（来源：ISO 9000:2015）。可靠性是指“在给定的时间间隔和条件下，项目按既定要求无故障地运行的能力”（来源：ISO/IEC TS 5723:2022）。准确性和鲁棒性也有助于提升AI系统的有效和可靠性，其中准确性是指“观测、计算或估计得到的结果与真值（或被接受为真的值）的接近程度”（来源：ISO/IEC TS 5723:2022），鲁棒性则是指“系统在各种环境下，维持其表现水平的能力”（来源：ISO/IEC TS 5723:2022）。此外，AI系统的有效和可靠性通常通过持续性测试和监测来确认系统按预期运行的方式进行评估，对上述性质的风险管理应考虑人工干预等方式，在系统无法检测或纠正错误的情况下将潜在负面影响降至最低。
2）安全（safe）是指“在规定的条件下，不应导致人的生命、健康、财产或环境受到威胁”（来源：ISO/IEC TS 5723:2022）。AI系统的安全性与设计、开发、部署、信息提供、决策中的负责制度以及风险解释和记录密切相关。不同类型的安全风险需要根据其背景和所呈现的潜在风险的严重程度定制相应的风险管理应对方法。
3）安全（secure）是指通过保护机制防止未经授权的访问，以保证AI系统的机密性、完整性和可用性。弹性是指发生意外的不利事件后恢复正常功能的能力。安全性是AI系统中与网络安全关联最为紧密的性质，其实现与密码等技术密切相关。
4）可说明性是指“能够对AI系统背后的运行机制进行描述的性质”；可解释性是指“在AI系统特定功能的背景下，AI系统输出结果的原因和过程”。可说明性和可解释性有助于使AI系统的用户、操作者和监督者更深入地了解系统的功能和可信度。
5）隐私增强性通常是指有助于保护人的自主权、身份和尊严的规范及做法。常见的隐私增强概念包括匿名、加密和访问控制等（参见NIST Privacy Framework）。
6）公平-偏见管理旨在解决有害偏差/偏见和歧视等相关的平等性和公正性。
7）可追责以透明性为前提。透明性是指AI系统及其输出结果的相关信息能够多大程度被用户所获得。
AI可信度与社会和组织的行为、AI系统使用的数据集、AI模型和算法的选择等密不可分。需要结合具体场景，对AI可信度特性的适用性进行判断，通常情况下，可信度强度符合木桶原理，即可信度强度取决于其最弱的特性。
同时，AI可信度特性之间可能相互影响，全面的AI风险管理需要在AI可信度特性之间进行权衡取舍。例如，优化可解释性和隐私增强性之间会存在矛盾；或者在数据较稀疏的情况下，隐私增强技术可能导致有效性降低。过度关注某一方面特性，例如：高度安全但不公平的系统、有效但不透明和不可解释的系统以及不准确但安全、隐私增强和透明的系统都是不可取的。
此外，AI可信度的测量与具体场景、参与者在AI生命周期中的角色等都相关。不同的场景、不同的角色方对可信度特性的判断可能不一致。建议通过引入相关领域专家，或者通过在整个AI生命周期中增加参与方的广度和多样性等方式，为AI系统可信度评估提供积极影响，进而提升AI风险得到有效控制的可能性。委托或部署AI系统的决定应基于AI可信度特性和相关风险、影响、成本和收益等方面综合的评估，且上述信息由广泛的相关方提供。
（二）AI RMF核心
AI RMF核心由4个模块组成：治理、映射、测量和管理，如图2所示。治理主要指要在组织的制度流程、组织建设、组织文化、技术能力等方面践行AI风险管理框架；映射主要用于确定特定场景与其对应的AI风险解决方案；测量主要采用定量和/或定性的工具、技术和方法来分析、评估、测试和监控AI风险及其相关影响；管理主要是将相关资源分配给相应的AI风险，进行风险处置。治理是一个交叉模块，融入并影响其他三个模块。
图2 AI RMF核心
上述4个核心模块按照若干类和子类进一步详细划分，每个类和子类根据特定的活动和结果进行描述（见表1至表4）。在实际操作中，组织可以执行全部的类和子类，或根据自身需要选择部分执行，表格中给出的活动不构成检查清单，也不需按序进行。
依据AI RMF，风险管理应该是持续、及时地，并贯穿整个AI系统生命周期。其执行方式应反映多样化和多学科的观点，并可包括组织外部参与者的观点。在执行顺序上，从任意一个模块开始执行都是可以的，（通常来讲，用户会从治理模块开始，其次执行映射模块，最后是测量模块和管理模块）。无论如何集成，应确保整个过程的迭代性，必要时模块之间可进行交叉引用。
四、小结
AI风险管理是开发和使用AI系统责任制度的关键组成部分。负责任的AI实践有助于使有关AI系统设计、开发和使用的决策与预期目标和价值相一致。负责任AI的核心概念强调以人为本、社会责任和可持续性。AI风险管理可以通过促使设计、开发和部署AI的组织及其内部团队更加批判性地思考环境和潜在或意外的负面和积极影响，推动负责任的AI使用和实践。理解和管理AI系统的风险将有助于提高其可信度，进而培养公众信任。我国可以在借鉴该框架的基础上，深入分析AI系统面临的具体风险，完善AI风险管理的具体控制措施，制定AI系统可信度的具体评估指标和评估方法，并根据技术的发展和实践的反馈不断完善，建立持续更新机制，通过正向引导的方式逐步推进AI风险管理框架和相关评估指标的落地，指导我国AI产业的健康有序发展，以及将相关研究成果推向国际。（完）
声明：本文来自全国信安标委，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
