2024年6月，IAPP和FTI Consulting发布了《2024年人工智能治理实践报告》，报告旨在向人工智能治理专业人员提供信息，让其了解在构建和完善人工智能治理计划时，需要意识到人工智能治理正面临多重挑战。
具体而言，报告介绍了数据挑战，隐私和数据保护挑战，透明度、可理解性与可解释性挑战，偏见、歧视与不公平挑战，安全与稳健性挑战和版权挑战。本文主要摘译透明度、可理解性与可解释性挑战这一部分进行介绍。
黑箱问题
缺乏对人工智能系统信任的一个原因是用户无法清楚地理解人工智能的运作原理。这可能是由于模型本身的复杂性导致的，也可能是因为知识产权的封闭保护导致的，这通常被称为“黑箱问题”。
目前，深度学习等人工智能技术正变得越来越复杂，且多年来其参数数量呈指数级增长。同时，由于人工智能的强大自我学习能力以及它们的规模性和复杂性，黑箱问题变得越来越难以解决，通常需要去权衡简化AI系统的一些方面。
透明度、可理解性与可解释性
透明度（Transparency）是一个广泛的概念，可以包括在整个生命周期中对技术和非技术文档的需求。在开源环境中，透明度也可以指提供对代码或数据集的访问权限，供开源社区中的人工智能系统使用。
透明度的目标还可以包括在用户与人工智能系统交互时通知用户，或者识别内容是否由人工智能生成。对于设计和使用这些系统的人来说，提供清晰全面的文档说明至关重要，其能够确保信任并帮助识别出现问题时错误发生的位置。
可理解性（Explainability）指的是对黑箱模型工作方式的理解。但问题在于，由于黑箱模型的复杂性，对其的理解可能不完全准确或忠实于底层模型。当由于上述因素无法完全实现可理解性时，另一种选择是可解释性。
可解释性（Interpretability）指的是设计模型时，使模型的推理过程本质上是可理解的。它鼓励设计不是黑箱的模型，使其决策或预测过程对领域专家来说是可理解的。虽然它消除了可理解模型的问题，但可解释模型通常是用于特定领域的，并且在开发方面需要大量的专业知识。
法律和政策中的注意事项
针对黑箱问题的一个解决方案是在法律或政策倡议中制定透明度、可理解性和可解释性的方法和要求。通过透明度和可理解性解决黑箱问题的监管和治理工具有：欧盟的《通用数据保护条例》和AI法案、美国国家标准与技术研究院（NIST）的AI风险管理框架、美国第14110号行政命令、中国的《生成式人工智能服务管理暂行办法》以及新加坡的AI验证。
►欧盟的《通用数据保护条例》
《通用数据保护条例》是最早对人工智能治理提出要求的立法之一。其第13条第2款(f)项、第14条第2款(g)项和第15条第1款(h)项提到了提供有关自动化决策逻辑的有效说明信息，以及自动化决策对个人的重要性和预期后果的信息。这一点进一步得到了第22条和第71条的支持。
►欧盟的AI法案
欧盟的AI法案采取基于风险的方法来提高透明度，对高风险和通用人工智能系统附加文件和披露要求。它要求为高风险人工智能系统编制技术文件，并要求高风险人工智能系统附带使用说明，披露各种信息，包括特性、能力和性能限制。
为了使高风险人工智能系统更具可追溯性，它还要求人工智能系统能够自动允许在整个人工智能生命周期中维护日志。
AI法案对提供有系统风险和无系统风险的通用人工智能系统的供应商也施加了文件义务。这包括维护技术文件，包括培训、测试和评估的结果。
它还要求打算将通用人工智能整合到其系统中的人工智能系统供应商维护最新的信息和文件。具有系统风险的通用人工智能系统的供应商还必须公开披露用于训练通用人工智能的足够详细的内容摘要。
在某些例外情况下，欧盟人工智能法案赋予个人从AI部署者那里获得解释的权利。除了文件和披露要求外，人工智能法案还通过强制要求机器可读水印来促进透明度。
►NIST的AI风险管理框架
NIST的人工智能风险管理框架（RMF）将透明度、可理解性和可解释性视为相互支持的人工智能系统的不同特征。在RMF下，透明度旨在回答决策的“是什么”，可理解性回答“如何”，而可解释性回答“为什么”。
责任和透明度：RMF将透明度定义为向与人工智能交互的个人提供有关人工智能系统及其输出的信息的程度，无论他们是否意识到这一点。有意义的透明度包括在人工智能生命周期的不同阶段披露适当级别的信息，这些信息根据与系统交互的个人的知识或角色进行定制。RMF要求人工智能透明度考虑人与人工智能的交互，例如通过在检测到潜在或实际的不利结果时通知个人。
可理解和可解释的人工智能：RMF将可理解性定义为人工智能系统操作的底层机制的表征，将可解释性定义为在设计功能目的的背景下赋予人工智能输出的含义。缺乏可理解性可以通过描述系统如何运作来管理，同时根据个人的知识和技能定制这些描述，而缺乏可解释性可以通过描述人工智能系统为何给出特定输出来管理。
►美国的第14110号行政命令
美国第14110号行政命令从人工智能安全的角度来处理透明度问题。
在第4节中，其要求通过某些透明度措施确保人工智能技术的安全性，例如要求最强大的人工智能系统的开发者与美国政府分享安全测试结果和其他重要信息。
该命令还要求使用水印来标记人工智能生成的内容，目的是保护美国人免受人工智能支持的欺诈和欺骗。
►《生成式人工智能服务管理暂行办法》
中国的《生成式人工智能服务管理暂行办法》第10条规定，提供人工智能服务的供应商必须向用户明确并披露服务的使用方式，并指导他们科学理解和合法使用生成式人工智能。同时，第12条也要求对人工智能生成的内容进行水印标记。
►新加坡的AI验证
新加坡的AI验证是一个自愿性的人工智能治理测试框架，其包括两个部分：一个基于11个国际公认原则的测试框架，这些原则分为五个支柱以及一个执行技术测试的工具包。
该框架通过向受影响的个人提供有关技术系统中人工智能使用的适当信息来解决透明度问题，以便其做出是否使用该人工智能系统的决定。
而可解释性是通过理解人工智能模型如何做出决策来实现的，这样个人就能意识到导致结果输出的因素。总之，透明度通过文件证据进行评估，可解释性通过技术测试进行评估。
实施人工智能治理
各组织一直在积极开发工具和技术来应对黑箱透明度和可解释性的挑战。
►模型卡与系统卡
模型卡：模型卡是伴随人工智能模型的简短文件，通过披露有关模型的信息来提供透明的模型报告。信息可能包括关于预期用途、性能指标以及在各种条件下（如跨不同文化、人口统计或种族）的基准评估的解释。
除了提供透明度外，模型卡片还旨在阻止模型在预期用途之外的使用。但在简短的文件中解释一个模型并不容易，模型卡旨在服务于广泛的受众，标准化的解释难以满足所有受众。此外，组织还应该留意他们在卡片中透露的信息量，以防止对抗性攻击并减轻安全风险。
然而，人工智能模型通常是更大系统中的一部分，该系统由一组模型和技术组成，它们共同工作以提供输出。因此，模型卡片可能无法提供系统内不同模型如何交互的更细致的图景。
系统卡：系统卡更好的洞察力体现在，其说明了一组AI模型以及其他AI和非AI技术如何作为AI系统的一部分协同工作以完成特定任务。
人工智能系统从其环境中学习并不断进化，因此它们的工作方式也会随着时间而变化，这就需要更新系统卡片。与模型卡片一样，将技术概念简化为服务于所有受众的标准化语言仍是一个挑战，系统卡片也可能因为共享的信息量和类型而吸引安全威胁。
模型和系统卡片的实用性可以超越满足透明度挑战。维护关于模型本身的标准化记录可以促进整个生命周期中不同利益相关者之间的沟通和协作。这还有助于减少偏见和缓解安全风险。它们也有助于与模型的未来版本进行比较，以跟踪改进。
这些卡片提供了设计、开发和部署的文档记录，因此它们可以促进对与模型或系统相关的各种决策和结果的责任归属。审计人员不仅可以利用它们全面了解系统本身，还可以深入了解生命周期不同阶段的流程和决策。
►开源AI
应对黑箱挑战的另一种方法是使人工智能开源。这需要将源代码公开，并允许用户自由查看、修改和分发。开放访问对研究人员和开发者尤其有用，因为有更多的机会被更广泛、多样化和协作的专家社区审查。
反过来，这可以提高算法透明度，发现风险，并在出现问题时提供解决方案。开源人工智能还可以改善技术获取并推动协作创新，但这也可能会受到专有算法的限制。
►水印标记
生成式人工智能的兴起使人工智能生成的内容和人类创造的内容越来越难以区分。水印标记正逐渐成为一种区分方式，各组织通过它来促进透明度并确保对有害内容（如错误信息和虚假信息）的防范。
企业正在AI生成的内容上嵌入水印。这些水印对人眼是不可见的，但是对机器是可读的，并且可以被计算机检测为人工智能生成的。虽然水印标记正成为透明度的一种流行技术，但仍然不可能对所有人工智能生成的内容进行标记。此外，也存在破坏水印的技术。
来源｜IAPP官网
编译｜张羽翔
审核｜郑惠敏
声明：本文来自赛博研究院，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
