美国数据创新中心：算法的政府监管边界

——创新原则下算法问责框架的构想

京东法律研究院秘书长 严少敏 编译

随着算法引擎驱动下的人工智能（AI）发展，算法决策风险带来的对不公平和偏见等问题引起了全球广泛关注。在中国，人们陷入了“大数据杀熟”舆论热浪；在欧洲，刚刚生效的欧盟《一般数据保护条例》（GDPR）也对算法决策风险进行了回应，对影响个人的自动化决策的进行了限制。

是否要对算法进行预防性监管？算法透明和算法可解释是否可解决算法决策的风险问题？是否应像GDPR这样通过一部统一的法律对算法决策风险进行监管？是否需要设施一个统一的监管部门进行监管？近期，美国当今最权威的科技创新智库——信息技术与创新基金会（Information Technology and Innovation Foundation ，ITIF）下的美国数据创新中心（Center for Data Innovation，CFDI）高级分析师Joshua New与CFDI主任兼ITIF副总裁DanielCastro 合作完成了一篇名为《政策制定者如何推动算法问责》（How Policymakers CanFoster Algorithmic  Accountability）[1]的报告（以下简称“报告”），文章版权归原作者所有，不代表本公号观点。

报告对上述问题进行了系统的阐述，指出了算法监管的误区，并提出解决方案——算法问责监管机制。即算法系统应采用各种控制措施以确保运营者能够根据其意图验证其行为，以及识别和纠正有害结果的监管框架。采用这一框架既可促进算法决策的巨大收益，又可以最大限度地减少有害结果，同时确保适用于人类决策的法律可以有效应用于算法决策。

中美虽然政治经济及法律环境有所不同，但两国都致力于AI技术发展，并走在世界前列。如何在不牺牲数字经济发展的前提下控制算法风险，是两国政府关注的共同话题。这篇报告的亮点在于给监管者提供了具体的解决方案，而不是空谈概念。

一、算法监管的误区

GDPR忽视市场力量，将置欧洲AI发展于二线地位

报告指出，创新原则是美国数字经济发展的关键。美国能够保持数字经济新技术发展和利用的领导者地位，其成功很大程度上取决于美国政府在监管政策上一直贯彻创新原则，而非以GDPR为代表的预防原则。GDPR将会把欧洲置于人工智能发展和利用的二线地位。美国或者其他想复制美国数字经济成功的国家如果要效仿GDPR预防原则的监管思路，将是一个巨大的错误。政府要做的仅是建立“护栏”进行疏导，而不是制造“路障”。

报告秉承“技术中立”的观点，指出预防原则的倡导者主张对算法及人工智能进行严格监管，源于一种普遍错误的观念。这种错误观念认为技术天生存在的潜在危害，组织有强烈的动机利用技术的潜在危害损害个人权利，且现有法律体系并不足以对算法其进行有效监管。报告指出，算法会显示和加剧人类的偏见、歧视和剥削的观点已主导了许多政策制定者和监管者的监管思路，但这往往是夸大其词。预防原则的倡导者的错误在于其忽视了市场的自我调节力量。事实上，算法被广泛部署之前，市场力量有能力阻止大部分有缺陷的算法产生。在大多数情况下，有缺陷的算法使用它们的组织蒙受损失。为避免损失组织有强烈的动机不使用有偏见或有其他缺陷的算法，因此在大多数情况下监管机构无需对算法进行干预。

人们往往用“黑箱”来强调算法决策的复杂性，认为算法在被训练和操作时会无意识的受到人类社会偏见的影响，例如开发人员缺乏社区多样性会造成无意识的偏见，影响算法运行和决策的风险，造成历史统计偏差或数据集不完整。这种数据算法的训练的缺陷往往是可以预防避免的。而技术只有在运营中才能得到改进，虽然这不并能防止所有的算法风险，但是，要求算法的零风险将会大大抑制创新。

统一的算法监管法规和算法监管机构并不可行

报告认为，在过去十年，美国政府一直没有制定统一全面的数据保护规则，而是区分行业制定具体政策，从而促进了数据的共享和再利用，使大多数行业能够自由创新，这构成了美国的核心监管环境，使亚马逊、eBay、谷歌和Facebook等互联网公司蓬勃发展，而对于算法的监管，也应当遵循这样的历史经验。另外，美国在许多对个人重大权益有影响的决策特定领域已经有相关的法律规范，比如在信贷和就业领域，这些规则并不以这些领域是否使用算法为前提，这些法规同样可适用于对算法决策的监管。因此并不需要制定统一的仅针对算法风险的监管法律。

报告认为，政府不应当建立如“国家算法安全委员会”或类似美国食品和药物管理局这样的专门监管机构来监督算法。原因是一是算法决策的审查评估，需要具备算法处理决策领域的相关专业知识背景，这需要政府设置针对不同的行业的特定监管机构。就像美国没有建立联邦互联网机构来监管所有的在线活动而是由美国联邦通信委员会（FCC）监管互联网技术的电信领域，联邦贸易委员会（FTC）监管的网上商业活动，国家电信和信息管理局（NTIA）对频谱资源等事项进行监管。二是建立统一的监管机构监督算法意味着所有算法都具有相同的风险水平和监管的必要，但事实上算法在不同应用领域的风险等级是不同的，低风险的算法决策无需被监管。第三，统一的算法监管机构建议着眼于“公共利益”的保护，但政策制定者无法笼统地判断算法是否符合公众利益，而是需要规范算法的具体应用场景。打个比方，使用汽车会带来环境污染和交通事故等损害公共利益的情形，但政府不会让监管机构来决定车辆的使用是否符合公共利益，而是对车辆的燃油经济性和安全性进行监管。

刑事司法及自动驾驶等特殊领域的算法须进行监管

报告指出，尽管行业自律，市场力量和侵权法可能会在防控算法危害方面发挥重要作用，但单凭这些措施不足以防止所有算法决策的潜在危害。原因是：首先，在某些领域，特别是政府等公共领域，比如刑事算法在司法领域的应用，即使算法存在缺陷，但由于错误决策的成本和后果不会直接由使用该算法的政府机构承担，市场力量的缺失，导致运营者部署缺陷的算法不能得到有效控制。其次，在某些算法决策应用中，特别是与人的生命安全相关的领域，如自动驾驶领域，即使算法的运营者存在将危害最小化的动机，但算法的潜在危害一旦发生则会造成严重的社会危害，则需要进行强监管。第三，某些算法的应用可能会造成伤害，比如加剧不平等，但没有一个算法运算符明显违反法律。例如，法律规定在线就业平台的算法不得分析用户种族信息，但算法仍然可以使用一些变量充当种族的替代标识，比如邮政编码[2]，从而有利于某个种族的成员争取工作机会。这种危害对公众、监管机构、甚至运营者来说可能都不是显而易见的。在这种情况下，由于公众无法轻易察觉，企业则会由于没有强烈的利益趋势和主动性，彻底审查算法危害以降低算法危害。

强制算法透明和可解释性限制创新

报告指出，算法透明要求组织公开其算法和相关数据信息，使其在一定程度上受到公众监督。算法透明公开的支持者认为算法的复杂性和专有性可能会掩盖其如何做出决策，并因此掩盖算法的有害行为，因此暴露这些算法黑匣子的代码和底层数据将有助于公众和监管机构识别算法是否以及如何输出有害结果。

算法可解释性要求算法能够向最终用户解释，比如要求运营者描述算法的工作原理，或使用能够阐明其决策的基本原理的算法。欧盟已经将可解释性作为对算法决策潜在危害的主要审查内容。 GDPR规定，个人有权获得关于算法所做的某些决策的“有意义的信息”。

报告认为，尽管透明性和可解释性是根本不同的概念，但它们对算法监管提出的解决方案有许多相同的缺陷。首先，将对算法决策的要求置于一种人类决策都无法实现的理想标准。算法只是一种决策方法。事实上，偏见渗透到人类决策的各个方面，因此对算法决策提出比人类更高的监管标准是完全不合理的。其次，GDPR规制了所有针对个人具有法律或重大影响的算法决策，但也给人工决策提供了规避法律监管的漏洞。GDPR只规定了使用算法做出的决策无效情形，这将鼓励组织牺牲效率，不使用算法。而且需要正视的是，即使在刑事司法系统中，算法的透明度也无法解决决策中固有的偏见。造成算法歧视的根源是人类社会固有的偏见，仅凭算法透明是无法解决的。第三，公开算法的源代码并不能完全解释算法的决策机制，虽然研究代码可以帮助了解算法的决策系统，但对于许多依赖数千层模拟神经元来分析数据的高级人工智能系统来说，即使是算法的开发者也难以解释清除算法的决策机制。机器的思维是编码在权值和神经网络结构之间的相互作用中形成的产物，因此透明度可能无法提供人们所寻求的证据。仅仅开放静态代码不能保证在特定的算法决策按照开发者期望的方式在给定的数据集中运行。第四，算法的透明度和可解释性的要求将严重冲击算法作为企业私有知识产权的价值。要求公开披露有关软件内部工作原理的源代码或信息，将为那些无视知识产权、窃取源代码的行为提供便利，从而降低公司投资开发算法的动力。第五，要求算法的透明公开会使算法容易被恶意分子利用，用来谋取私利或误导舆论，而受害的则是个人。第六，强制算法可解释性可能会严重限制算法的潜在利益，算法系统的可解释性与准确性往往只能“二选一”。如自动驾驶领域牺牲算法的准确性去追求算法的可解释性，将对人的生命安全造成巨大的风险。对算法可解释性的法律规定，本质上是会牺牲算法准确性，并允许使用效率低下的人工智能。最后，政策制定者的目标是防止算法对人类造成伤害，算法的透明性和可解释性仅是的实现目标的手段。在特定的情境下，透明度和可解释性确实是防止算法对人类造成伤害的有效机制，但监管机构将实现算法透明性或可解释性视为万用药或最终目标则是不明智的。在大多数情况下，强制透明度和可解释性会限制创新，且无益于防止算法潜在的危害。

二、算法问责的构想

报告提出了算法问责框架的基本原则：算法系统应当采用各种控制措施，以确保运营者能够验证它是否符合运营者的意图且能识别并纠正有害结果。

算法问责的对象是算法的运营者。监管机构应使用算法问责制，让负责部署算法的一方，即算法运营者（非开发者），对其行为承担法律责任。毕竟没有进行运营，而仅是简单的开发出一套带有偏见的算法,不会造成伤害结果。

算法问责框架能够有效防止有害的算法结果输出，并确保算法决策受到与人类决策相同的规制。这种规制方法是技术中立的，赋予运营者采用各种不同的技术和程序机制来实现算法问责的灵活性。

仍须强调的是，只有当算法决策的应用带来的潜在危害较大，并足以动用监管审查时，才会触发算法问责。

算法问责的运行机制

如下图所示，使用算法问责，监管机构可以采取简单明了的方法来评估算法决策是否违反现行法律，对可能造成重大危害的算法运营者进行监管审查并进行处罚。当运营者使用算法违反现有的法律或法规时，监管机构应首先检查运营者是否能够及如何有效地证明他们能够有效控制算法按其预期运行。如果发生了严重危害，而运营者又无法证明其对算法进行了控制或者已其控制的实现本身就存有过失，则运营者须接受较高的处罚；如果运营者能够证明其对算法决策的控制是全面的，而且是尽职执行的，则监管机构则可能会认定运营者对算法危害的结果不存在主观故意或过失。监管机构下一步会对运营者是否能够有效地识别和纠正有害结果进行类似分析。如果运营者未尽纠正义务，则将导致监管机构的处罚。算法问责机制可发挥市场自我调节作用，大幅度降低算法决策的危害。运营者为了尽量避免被处罚的风险，将采取积极的措施来确保其符合算法问责要求，这样也会激励算法开发者研发具有符合问责机制标准的算法，以保证其市场竞争力。

 (监管部门如何使用算法问责)

正如上文提到的，执行算法问责也涉及现有法律的适用问题。美国在许多影响个人重大利益的决策领域已经有相关法律规范进行监管，这些规则并不以这些领域是否使用算法为前提，且在特定的情境下，要求算法决策须具备透明、可解释性或符合其他标准。比如《平等信用机会法》需要债权人为消费者提供其信贷申请被拒绝原因的适当解释；《公平信用报告法案》要求债权人都为消费者提供信用报告和调查有关错误的信息并根据需要改正信息的权利。这些法律的适用不以债权人在这些过程中是否使用算法为前提，但如果债权人确实决定使用算法，却无法解释该算法为何拒绝了消费者的信贷申请，那么债权人就不符合算法问责标准，而且明显违反了法律。

算法决策的证明方式

对于运营者如何才能证明自己尽到了问责义务，报告提出了透明度、可解释性、可信度和程序规律性等四种方法，建议结合具体的情境，选择或组合适用。

  • 公开透明

在适用的情景下，算法透明公开是运营者能够确保算法按照其意愿运行的有效方式。公开的程度和方式则可依具体情况而定。例如必要时可使用专业的第三方算法审计公司识别算法缺陷，但第三方算法审计公司须履行保密义务。

  • 算法解释

从理论上讲，对算法决策进行清楚的解释是确保算法系统按照预期运行的最有效、最直接的方法，但前提是解释是正确的。因此，利用人工智能解释算法决策已成为一个活跃的研究领域，通常被称为“XAI”。但算法的复杂性仍然是限制因素。首先，考虑到可解释性和准确性之间的权衡，一大部分情形下需要为追求准确性会牺牲解释性；第二，开发一种能够自我解释、自我辩护的人工智能系统是一项极具挑战性的技术壮举，美国国防高级研究计划局(DARPA)在2017年为此投入了7500万美元。

  • 置信度

置信度，也称为置信区间，用于衡量算法在决策或预测中的确定程度。置信度是确保算法按预期运行的一种相对简单的方法。例如，银行部署人工智能系统来监控和预防伪冒交易，那么使用置信度作为不同算法结果输出的阈值将其避免其阻止合法交易或漏掉欺诈性交易。例如，如果系统对某一交易是否是欺诈的置信度有80%，那么可以将该笔交易标记进行人工审查，而不是自动停止交易。

  • 程序规则性

程序规则性是指AI系统一直以相同的方式应用同一算法的过程。这是确保算法按预期运行的一种有效的方法之一。如果无法解释算法如何做出特定的决策，运营者可持续应用算法并仔细检查其结果输出，以评估算法是否符合运营者主观预期。与其在密码学中的作用一样，程序规则性对于算法的监控非常有效。密码技术可以让系统证明其程序规则性。同理，即使不披露算法程序的内容或其运行模式，如果同样的程序在所有情况下都被一贯地应用，就可以按照类似法律上的程序正当原理，认定运营者已尽问责义务。

纠正算法有害输出的方式

报告补充指出，验证算法是否符合运营者主观预期并不足以有效避免算法的危害。问责机制下的算法系统还须具备识别和纠正算法的有害结果输出的机制。虽然预知所有算法的有害输出本就是天方夜谭，且这样做也会妨碍算法的应用发展；但运营者可以通过采取多种有效步骤实现算法输出结果危害的最小化。这些措施包括但不限于进行影响评估，误差分析与偏见测试等。这些措施不仅是事后控制，运营者能够也应当在整个开发和部署算法的整个过程中应用这些措施，并且在使用算法的整个过程中不断应用这些措施。

  • 影响评估

正如政策制定者使用影响评估来收集关于某些政策的潜在社会或经济影响的证据相同，组织也可以对特定的算法进行影响评估。算法的影响评估可以是事前评估，侧重于前瞻性分析，也可以是事后评估，侧重于历史分析。较为敏感的算法应用，例如在刑事司法系统中使用算法需要持续或定期地进行事前评估。

  • 误差分析及偏见测试

算法危害的发生原因是多样化的，包括由于疏忽造成代码错误，由于算法的内在缺陷造成的系统误差;以及由于难以控制的算法参数变化、使用的数据或硬件问题而产生的随机错误。然而，绝大部分错误是预料之中的，通过识别和纠正错误对系统进行迭代改进是机器学习模型的标准方法。

误差分析技术有很多种，包括人工审查、方差分析和偏见分析方法。其中方差分析是指使用了分析实际和计划的行为和偏差分析之间的差异的方法。偏见分析提供了系统错误发生的时间、地点及原因等定量估计，以及这些错误发生的范围。

政府如何推进算法问责

报告建议为更好地推行算法问责制，政策制定者还应采取多种措施，包括:

  • 提高监管机构的技术专业性

监管者须理解算法决策，才能对算法的运营者进行有效监管。除增进与开发者、学者、民间社会团体和企业间的交流外，政策制定者应该确保监管机构有足够的资源雇佣必要的技术专家来审查算法。

  • 投资实现算法问责的技术方法

随着越来越先进和复杂的人工智能的广发应用，使算法可解释而不牺牲准确性的技术显得异常重要。政策制定者应该投资支持算法可解释性的研发，比如DARPA的XAI计划。此外，政策制定者应支持对技术方法的研究，以帮助实现算法问责，比如可以评估人口统计学偏差算法的基准系统。最后，政策制定者应与专业团体合作，支持开发培训材料，帮助经营者了解偏见等不良因素如何影响其算法，并提供有效的解决方案。

  • 考虑适用特定领域的问责标准

政策制定者应该评估算法问责框架如何有效地解决不同部门的潜在危害，并考虑在不同的领域如何实施适用不同的算法问责标准。例如，建议刑事司法系统的采购政策中须规定任何涉及司法决策的算法都必须是开源的。此外，应要求使用算法的公共部门考虑到其决策的重大社会或经济后果，对这些算法进行持续的、彻底的影响评估，并在必要时向公众披露这些信息。

（本文仅代表个人观点，不代表任何机构立场）

声明：本文来自iPolicyLaw，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。