【编者按】

美国国家标准与技术研究院(NIST)近期发布了人工智能风险管理框架。由于人工智能系统具有动态性、复杂性和潜在影响性，因此NIST提出应当科学管理人工智能系统的总风险，尤其是那些发生效率较低但可能带来较大影响的风险。在此份文件中，NIST非常明确地对“风险”进行了定义，提出“风险”是指事件发生概率和相应事件后果的综合度量。NIST提出的框架概念文件以有意义、可操作和可测试的方式提出了人工智能系统可信度的衡量标准，并列出有效的人工智能风险管理计划的组成部分。人工智能的风险管理拟议结构由三个部分组成：1）核心层，2）概况层和3）实施层。各个部分中又包含了不同的功能、类和子类，贯穿整个AI系统生命周期。NIST发布的这份文件对于企业构建算法合规风险管理框架具有积极的参考意义。

概述

本概念文件描述了美国国家标准与技术研究院（NIST）人工智能风险管理框架（AI RMF或框架）提出的基本方法。AI RMF旨在供自愿使用，并解决AI产品，服务和系统的设计，开发，使用和评估中的风险。

人工智能技术将算法方法和自动化扩展到新领域、新角色，包括为人们提供建议并在高风险决策中行动。将人工智能技术运用于推荐、判断、模式识别以及自动规划和决策框架等任务，需要管理相关风险目标，为开发和使用人工智能提供机会，提高其可信度和实用性，同时解决潜在的危害。

人工智能风险管理遵循与其他学科类似的流程。然而，管理人工智能风险带来了独特的挑战。一个例子是对AI系统的效果的评估，这些系统的特点是时期长，概率低，系统性和影响大。应对可能对社会造成代价高昂的后果或灾难性风险的情况时，应该考虑：强调管理人工智能系统的低概率、高后果效应带来的总风险，以及确保同更强大的先进人工智能系统保持一致的必要性。这项拟议的AI RMF是一项初步尝试，旨在描述AI风险与其他领域风险的区别，并提供了方向 - 利用多方利益相关者的方法 - 用于创建和维护可广泛采用的可操作指南。

人工智能风险管理带来的挑战既反映了人工智能使用的广度，也反映了该领域快速发展的性质。AI生态系统是众多不同利益相关者的家园，包括开发人员，用户，部署者和评估人员。对于组织而言，跨业务和社会关系大规模识别、评估、优先排序、响应和沟通风险可能是一项艰巨的任务。这些挑战将人工智能风险的异质性放大，无论是在程度上还是在性质上，其中可能包括有害偏见，对安全的威胁，隐私和消费者保护等。

自愿共识驱动形成的框架可以帮助创建和维护人工智能驱动系统和商业模式核心的信任，并进行灵活性创新，使得该框架随着技术的发展而发展。

NIST在该框架上的工作与其更广泛的人工智能工作是一致的 - 正如2020年国家人工智能倡议法案（the National AI Initiative Act of 2020），美国人工智能国家安全委员会（National Security Commission on Artificial Intelligence，NSCAI）建议，以及联邦政府参与开发人工智能标准和相关工具的计划（the Plan for Federal Engagement in AI Standards and Related Tools）所要求的那样 - NIST与私营和公共部门合作开发AI RMF。

范围和受众

NIST制定的 AI RMF旨在作为映射、测量和管理AI系统相关风险的方案，涵盖各种类型、应用程序和成熟度。该文件的组织和编写方式将使其可以被尽可能多的个人和组织理解和使用，无论该部门或对特定类型技术的熟悉程度如何。最终，它将以多种格式提供，包括交互式版本，以便为用户提供最大的灵活性。

目标主要受众是：

（1）负责设计、开发AI系统的人员;

（2）负责使用或者部署AI系统的人员;

（3）负责评估或管理AI系统的人员；

作为本指南中关键激励因素的受众是：

（4）在AI系统新引入或扩大的风险领域受到潜在伤害或遭遇不公平的人。

所有利益相关者都应参与风险管理进程。这些利益相关者可能包括行动/任务倡导者（领导层），项目管理，系统工程师，AI开发人员，需求方代表，测试和评估人员，终端用户和受影响的社群，具体取决于应用程序。

框架风险

在AI RMF中，“风险”是指事件发生概率和相应事件后果的综合度量。虽然对后果的一些解释只关注负面影响（坏事发生的可能性有多大），但NIST打算使用更广泛的定义，对潜在影响提供更全面的看法，包括积极的影响，与开发和应用人工智能技术以实现积极成果的目标相呼应。如果处理得当，人工智能技术在提升和增强人们能力、为人们和社会带来新的服务、支持和效率方面具有巨大潜力。识别并最小化与人工智能技术相关的潜在成本将推进这些可能性。

人工智能风险管理既要提供一条途径，来尽可能减少人工智能系统的预期负面影响，如对公民自由和权利的威胁，也要寻找机会，最大限度地发挥积极影响。

AI RMF致力于为共同理解AI整个生命周期角色和责任奠定基础。对于责任是分散在整个组织中并受其管理，还是由没有任何组织从属关系的个人承担，这是不可知的。本框架概念文件以有意义、可操作和可测试的方式表明人工智能系统可信度的衡量标准，并列出有效的人工智能风险管理计划的组成部分。该框架旨在随时可供在AI全生命周期中具有不同角色和职责的人员使用。

AI RMF的属性

NIST根据最近一次的信息请求通知（RFI）和研讨会的公众反馈开发了一组属性。NIST鼓励大家就本概念文件中设想的框架以及AI RMF初始开发期间发布的所有未来文件是否成功满足这些预期发表意见。以下内容构成了 NIST 的框架属性列表：

  1. 通过公开、透明的流程，以共识为导向，制定并定期更新。所有利益相关者都应该有机会为AI RMF的发展做出贡献和评论。

  2. 清晰易懂。使用广泛受众可以理解的简单语言，包括高级管理人员，政府官员，非政府组织领导层，以及更广泛的那些非AI专业人士，同时仍然具有足够的技术深度，对从业者有用。AI RMF应允许在整个组织内与客户和广大公众沟通AI风险。

  3. 提供通用语言和理解来管理AI风险。AI RMF应提供AI风险各方面的分类、术语、定义、指标和特征，这些方面在各个部门之间是常见且相关的。

  4. 易于使用。使组织能够通过所需的操作和结果来管理 AI 风险。作为组织更广泛的风险管理战略和流程的一部分，随时进行调整。

  5. 适用于与技术无关（水平）和特定上下文（垂直）的用例，以便对广泛的视觉、行业和技术领域有帮助。

  6. 基于风险，注重结果，成本效益，自愿性和非规范性。提供自愿使用的效果和方法集，而非一套适用于所有需求的方法集。

  7. 与管理 AI 风险的其他方法保持一致。AI RMF应在可能的情况下，利用现有的标准、指南、最佳实、方法和工具，提高对AI风险管理的认识，并说明对额外改进资源的需求。支持各组织在适用的国内和国际法律或监管制度下运作的能力应不受法律和法规的限制。

  8. 一份动态文件。AI RMF应能够随着AI可信度的技术、理解和方法以及AI使用的变化而随时更新，同时利益相关者也能从实施AI风险管理中，尤其是本框架中进行学习。

AI RMF的结构

AI RMF的拟议结构由三个部分组成：1）核心层，2）概况层和3）实施层。此结构以及核心层、概况层和实施层的预期定义类似于 NIST 改进关键基础设施网络安全框架（网络安全框架）和 NIST 隐私框架中使用的结构。

5.1 核心层

核心层提供了一组精细的活动和成果，使能够就管理人工智能风险进行组织对话。与NIST网络安全和隐私框架一样，核心层并非是用于执行的操作清单。相反，它定义了有助于解决AI风险的关键结果。核心层将包括三个要素：功能、类和子类。图1说明了核心层的拟议结构。表1提供了一些示例来帮助阐明这些功能的意图。

5.1.1 功能

功能在其最高级别组织AI风险管理活动以建立上下文，并列举、评估、处理、监控、审查和报告风险。类是将功能细分为与方案需求和特定活动密切相关的结果组。子类进一步将类划分为技术或管理活动的具体成果。

NIST提出了以下功能：

映射：建立上下文，并列举与上下文相关的风险。

此功能的目的是“查找、识别和描述 AI 系统带来的风险”。作为该功能的一部分，收集的基线信息为有关模型管理的决策提供参考，包括根据对收益，成本和风险的定性或更正式的定量分析，决定一个AI解决方案与现状相比是不必要或不合适的，并停止开发或避免部署。

注1：上下文（context）是指系统领域和预期用途以及范围，它可能与时间框架、地理区域、社会环境文化规范有关，在这些规范中存在预期利益或危害、特定的用户群以及用户的期望，以及任何其他系统或环境规范。

注2：风险列举（Enumeration of risks）是指了解人工智能系统对个人、团体、组织和社会构成的风险，包括但不限于与数据、模型、人工智能系统的使用方式及其对个人、团体和社会的影响相关的风险。

注3：该功能应由一个足够多元化和多学科的团队来执行，该团队代表组织的多个部门，理想情况下包括来自组织外部的足够多元化的利益相关者。

估量：对列举的风险进行分析、量化或在可能的情况下进行追踪。

该功能的目的是了解风险或影响的性质及其特点，并促进对下文所述风险的管理。该功能为确定应如何管理所列举的风险奠定了基础。

注4：风险分析和量化可能包括风险水平，并涉及对不确定性、权衡、后果、可能性、事件、情景、控制及其有效性的详细考虑。一个事件可以有多个原因和后果，也可以影响多个目标。

管理：根据估量的严重程度，将风险按优先级排列，并加以避免、缓解、共享、转移或接受。

该功能的目的是支持决策，对解决风险的选项进行选择并实施。决策应考虑上下文、内外部利益相关者的实际和感知的后果、拟议制度与现实世界状态的相互作用，以及在部署或改变现状（包括其他系统、组织结构等）前就可能解决潜在过渡成本，以确保实现效益并将风险降至最低。

注5：该功能应处理列举的风险，但也包括对最初未列举的风险进行检测、监控和跟踪，以及将其引入更新的列举风险清单的过程。

治理：适当的组织措施，一系列政策，流程和操作程序，以及角色和职责规范。

该功能的目的是培养和实施风险管理文化，并帮助确保进行有效和持续地响应风险。

注6：治理应是每个功能的一部分，也是其自身的一项功能，反映了在整个风险管理过程和程序中融入治理考虑因素的重要性。因此，虽然治理可以被列为第一项功能，但它被列在前三个功能之后，以强调其作为在AI系统生命周期内有效进行AI风险管理的持续要求的重要性。如治理仅在人工智能系统的早期阶段是稳健的，而不是随着人工智能系统的发展或随着时间的推移而更新，则无法进行有效的风险管理。

5.1.2 类

类是将功能细分为与方案求要和特定活动密切相关的结果组。为更好地解释每项功能的意图，每项拟议功能的可能类别示例见表1。此处所示的表1并非详尽无遗。（NIST特别邀请人们就AI RMF中应包含的潜在类别发表意见。）

5.1.3 子类

子类进一步将类划分为技术或管理活动的特定成果。

5.2 概况层

通过概要文件，用户能够对最符合组织价值观、使命或业务需求和风险的人工智能相关活动和成果进行优先处理。概要文件可以是技术和非技术指南，用于管理特定于上下文的用例的 AI 风险。这类文件可以说明如何在人工智能生命周期的不同阶段或在行业、技术和最终应用中管理风险。

5.3 实施层

实施层对组织流程进行高效的沟通、决策以及所需资源提供支持（包括工程工具和基础设施以及具有AI专业知识的工程师），以管理组织或有关情况下发生的AI风险，来实现概要文件中成果和活动。

图1.风险管理应在整个AI系统生命周期中进行，以确保持续和及时的风险管理。治理被建议作为其自身的一项功能，并贯穿于风险管理过程的其他功能。AI 生命周期的每个阶段的示例活动如下。预设计：包括数据收集、管理或选择、问题公式化以及利益相关者的讨论。设计和开发：数据分析、数据清理、模型训练和需求分析。测试与评估：技术确认与验证。部署：用户反馈和用户覆盖、部署后的监控和停用。

表 1. 每项拟议功能的类的可能示例

AI RMF的有效性

鼓励组织根据其目的、实施计划、指标和预期行为定期评估 AI RMF的表现。与NIST和其他机构共享对于AI RMF有效性的反馈，以推动AI RMF的适用性，充分性和有效性的持续改进。

【编译】

彭云霞

对外经济贸易大学2021级法律硕士。

【编辑】宋佳钰，对外经济贸易大学2021级法律硕士。

【指导教师】张欣，对外经济贸易大学数字经济与法律创新研究中心执行主任。

声明：本文来自网络法理论与实务前沿，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。