背景

2019年3月，英国信息专员办公室（ICO）发起了“人工智能审查框架”项目，旨在研究审查人工智能（AI）应用的方法，以保证其透明、公平；评估、监管由AI应用产生的数据保护风险；为在合法范围内使用和创新AI提供指引”。

6月25日，ICO发布了“AI系统中的人类偏见与歧视”的研究报告，研究AI在维持或扩大人类偏见和歧视方面的作用，并为防范AI系统偏见和歧视风险提供技术和组织上的解决路径指导。

AI系统产生偏见和歧视的原因

假设一个情景：银行开发了一个机器学习系统来计算潜在客户的信用风险。银行收集了借款人的职业、收入、年龄，以及贷款偿还情况等数据，用以训练该机器学习系统。但该机器学习系统的测试结果显示，其对于女性的信用评分较低，存在明显偏见，其中主要有两个原因：

1、数据不平衡

训练数据中男性和女性数据的比例本身可能是不平衡的。比如由于过去几年申请贷款的女性数量较少，银行没有充足的女性数据，导致训练数据中两类数据的比例不均衡。由于机器学习算法是在训练数据基础上生成统计模型，如果男性数据过多，那么该模型将更多地关注和预测男性还款率。因此即使培训数据集中女性的平均还款率要高于男性，最终预测的结果还是女性的偿还率低。这是代表性不足的数据子集都会面对的问题。

2、数据包含歧视

训练数据中本身也可能包含有歧视内容。例如，如果过去女性贷款申请被拒的几率比男性更高，那么任何基于此类训练数据的机器学习模型都可能重现相同的歧视。而且由于机器学习中包含更多的变量，其比传统的统计方法更容易扩大歧视。

减轻AI系统中歧视的技术手段

针对数据不平衡的情况，可以添加或删除代表性过低或过高的数据子集以实现平衡（如添加关于女性贷款人的数据或删除男性贷款人数据）。也可以根据不同的数据子集训练不同的模型（例如开发两个模型，一个用于男性一个用于女性），并在不同的子集中分别运行。但是，在某些情况下，为不同数据子集创建不同的模型本身可能违反了反歧视法（例如，针对男性和女性的不同汽车保险费）。

针对数据包含歧视的情况，可以对数据进行修改，或调整机器学习的过程，或在模型训练之后对模型进行调整。

为了实现上述做法，计算机科学家和应用统计学家开发了不同的数学技术，以了解机器学习模型如何对待来自不同群体的个体以及可能对个体产生的歧视性影响，这些技术可分为三大类：

一是反分类方法。反分类方法就是试图识别和排除需特殊保护的特征，不对数据进行分类。但这种方法实用性较差，因为删除所有需特殊保护的特征，数据的可用性就十分有限了。

二是结果对等和错误对等方法。比较模型对待不同受保护群体的方式以明确是否存在歧视。（1）结果对等，即如果给不同的子集提供相同数量的积极结果或消极结果，则模型就是公平的。（2）错误对等：如果模型在不同子集的错误数量相同，则模型是公平的。

三是平等校准。如果模型对事件发生的可能性的预估，与实践中的事件几率是一致的，则该模型是公平的。例如，预估有90%还款可能的贷款人，其中男女的比例应是平等的。

减轻AI系统中歧视的组织手段

应从AI应用生命周期的开始就确定并记录缓解偏见和歧视的方法，以便在设计和构建阶段考虑并实施适当的保护措施和技术措施。

获取高质量的训练数据也是十分重要的，特别是在内部没有足够的数据，或内部数据有不平衡或含有偏见的可能，需要从外部获取数据的情况下。但无论从内部还是外部获取数据，都应确保数据对机器学习系统所适用的群体具有充分代表性。

组织管理部门负责选择管理歧视风险的方法，并对其遵守数据保护法负责。主要责任人员需要充分了解不同方法的局限性和优势，数据保护官员和监管员应为减轻歧视的措施和采取适当保障措施提供持续的建议和指导。

机器学习系统如果用于大规模数据分析，可能会触发数据保护影响评估（DPIA）。作为其DPIA的一部分，根据与机器学习系统相关的风险的严重程度以及管理任何潜在歧视风险的能力，还需考虑咨询数据主体的意见。

在许多情况下，在不同的风险管理方法之间进行选择需要权衡，包括对不同保护特征和群体的保护措施之间的权衡。数据科学家应该主动向业务所有者以及负责风险管理和数据保护合规的员工强调和解释如何进行权衡。

应对任何反歧视措施进行有效测试，并应持续监测机器学习系统的性能。风险管理政策应明确规定流程和负责人，以便在部署之前或更新之后对机器学习系统进行最终验证。

为实现监控目的，组织策略应根据关键绩效指标以及升级和差异调查程序列出容差，还应明确设定机器学习系统应停止使用的方差限制。如果组织正在用AI替代传统的决策系统，应该考同时运行一段时间，并调查两个系统之间对不同群组做出的决策之间的差异。

最后，应投入充足的时间和资源，以确保继续遵循最佳实践做法，并确保员工得到适当培训。在某些情况下，人工智能可能会揭露和解决传统决策过程中存在的歧视，并帮助组织解决实践中任何潜在的歧视问题。

作者简介：赵淑钰，中国信息通信研究院互联网法律研究中心研究员

声明：本文来自CAICT互联网法律研究中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。