编者按：2020年5月14日，兰德公司发布报告《人脸识别技术——设计保护隐私并防止偏见的系统》（Face Recognition Technologies Designing Systems that Protect Privacy and Prevent Bias）。报告提出了一种启发式模型以帮助度量人脸识别技术的隐私保护级别和准确性，该模型具有两个维度：是否已获取被识别者的同意和人脸匹配类型（一对一或一对多），报告认为每个系统都需要在准确性和隐私性之间进行权衡，目前没有统一的规则来管控人脸识别技术的使用，报告建议：1）在公共场所收集诸如面部特征数据的个人可识别信息的任何技术都应努力保护这些数据，使用匿名化或其他方式来减少可用数据量，并建立严格的用户协议以限制未经授权的访问；2）仔细考虑训练或目标数据集的组成和大小，以避免结果偏差；3）设计应用于面部匹配的可避免偏见的黑名单，并设定可接受的假阳性面部匹配率的阈值。
1 介绍
人脸识别技术（FRTs）是一种检测和识别摄像机所捕获的人脸的数字手段，这项技术往往被用在诸如边防和法医调查等与安全相关的场景中。尽管政府部署FRTs可以改善公共服务或挽救公民生命，但是这些优势的体现必须以保护公民的隐私和自由为基础。本报告探索了政府机构在使用和部署FRTs时应该考虑的问题：
● 社会如何在保护公民隐私的同时从人脸识别技术中获利？
● 在运用人脸识别技术所产生的结果时，应该使用哪些方法来降低不准确结果的影响？
2 人脸识别技术背景
2.1 一种确定人脸识别技术准确性和隐私性的启发式方法
本报告提出了一种二维启发式方法来比对FRTs潜在的隐私问题和准确性，第一个维度描述了受试者对FRT系统的了解程度，以及受试者是否同意配合FRT系统检测。第二个维度比对了人脸识别的准确性。
表1所示的矩阵可以帮助我们评估错误结果与隐私和偏见的潜在交互作用。例如，左上象限的用例(有同意的一对一验证)可能比右下象限的用例(未经同意的多对多识别)具有更高的准确性。这种二维分类方式可以作为判断FRT系统是否具有高准确度的一套标准。
表1：人脸识别技术用例，按同意和匹配类型
2.2 隐私和隐私增强技术
（1）隐私权与偏好
本报告将隐私定义为一个人控制自己信息的能力。它对个人和国家的重要性是不可否认的。在实践中，隐私的概念很难实现。对隐私的关注，尤其监视下的隐私保护，会引起人们行为的改变。
（2）同意数据收集和共享
考虑到公众对隐私和监视的关注，在决定FRTs如何实施时，获得同意是一个重要的考虑因素。对于那些未同意提供人脸信息的人，无论该信息用于收集还是后来的共享，都可能产生短期或长期的负面影响。
（3）隐私增强技术
在部署新技术时，政府机构可能需要权衡保护隐私和保障安全之间的利弊。近年来隐私工程的不断发展为将隐私保护嵌入软硬件设计中提供了可能。虽然隐私工程包含了各种工具和技术，但本报告主要关注FRT系统上实现隐私保护的三个维度：
数据保护侧重于通过使用加密技术或通过分离系统角色和任务来保护现有数据。这确保了数据的完整性，并且只有特定的和经过授权的查看者才能读取数据。它在防止恶意收集信息方面特别有用。
数据最小化的重点是减少可获得的信息量，甚至包括授权用户的可访问的信息量。相关方法包括差分隐私和k-匿名化。
数据透明性和可纠正性是指数据主体了解他们的数据如何处理的访问和隐私控制技术。复杂的用户访问和隐私控制技术包括向公众发布通知(帮助潜在的数据主体了解他们的数据如何被使用）和提供选择（授权用户对数据流的控制）。此外，如有需要，政府机构应为公众提供更正数据的机会。尽管有通知和选择，个人对其数据的控制可能最终取决于政府机构如何权衡隐私和安全。
这三个维度必须由系统开发人员和实现人员来构建，但是这些技术为数据主体(例如旅行者)提供了更多的机会来理解和纠正他们自己持有的和使用的数据。
（4）人脸识别“黑客”
人脸识别“黑客”是指数据主体为保护自己隐私而采取的物理遮挡或伪装技术。FRTs不能幸免于各种破坏其有效性的攻击，行为者试图通过面部遮掩使摄像机难以扫描人脸来保护隐私(避免检测)，或者通过伪装面部特征从事非法活动(冒充)。
（5）检测规避
检测规避技术可以增加受试者外貌和匹配图像之间的差异，目前，几乎所有检测规避技术都依赖于对面部特征的临时或永久的物理修饰或隐藏。临时技术，如穿戴围巾或假的面部毛发，会降低FRT系统检测匹配的能力。临时或永久的化妆技术也会降低FRTs的有效性，此外，整容手术也是一种永久改变人的特征和挑战FRTs准确性的技术。
（6）模仿
模仿或欺骗是缩小模仿者和真实主体面部差异的手段，其目的是侵入人脸识别系统改变匹配人脸图像的特征或误导当局认为一个目标同时出现在多个地点。虽然技术手段类似于检测规避，但是模仿技术更具有挑战性，其中包括四种欺骗方式：照片、视频、面具、变形。
2.3 人脸识别偏见
偏见是指对某一群体有利或不利的不合理的认知。在FRTs中，偏见可以通过面部特征，如眼睛形状或皮肤颜色产生。算法偏见的例子存在于不同的政策领域，例如刑事司法和疾病监测。具有偏见的FRT结果会导致以下潜在危害：
（1）定位目标人群（训练数据和目标数据）
FRT通常使用数据“训练”算法，来识别某些特定的特征，不同的设置和操作方法产生的结果可能会对人群产生不成比例的影响。
训练数据：监督学习技术通常用于FRTs的编程，它依赖于手动预标记数据来“教”算法他们应该关注的特征。因此，训练数据(输入)中的偏差可能导致输出偏差。研究表明，训练数据集中的人口结构偏差会影响人脸识别结果。
目标数据：经过FRT训练后，它被应用于目标数据——一组经过标记或识别的人脸图像的数据集，给定一个或一组主题图像，FRT搜索潜在的匹配对象。当使用更有限的参考数据集时，更有可能产生带有偏见的结果。
（2）测量误差
FRTs是建立在比较面部图像和待匹配图像相似性的算法之上的，算法可以反映出其创造者的经验、特征，甚至偏好。并且，这些选择可能是完全未知的。由于算法不透明或缺乏用于识别和匹配人脸特征的透明度，可能会造成无意或有意的伤害。
（3）故意针对
许多关于确保FRT公平性的争论都围绕着消除无意识的偏见展开。但是，算法或数据集可以通过关联结果与种族的方式故意将偏差引入FRTs。用于FRT的类似算法可能导致结果不成比例地涵盖或排除某些群体，比如推进意识形态或利用政治两极化破坏社会稳定。
2.4 小结
针对所有技术系统都应该进行的隐私和偏见评估，本章提供了一种识别隐私和偏见问题的启发式方法。图1说明了在每一种情况和不同人脸识别准确度水平下可能存在的隐私问题。另外，FRT系统如何应对其他因素也很重要，比如系统“黑客”的敏感性。
图1：人脸识别技术的隐私性和准确性权衡
3 美国人脸识别政策
3.1 学校
美国各地学校发生暴力事件后，地方学区考虑安装FRT系统，以保障教职员工和学生的安全。这类系统的目标包括：管理建筑物人口出入(一对多匹配)、警告管理员可能存在危险人物(多对多匹配)。
关于隐私和数据安全，每个学区独自决定如何使用FRT系统。洛克波特市、纽约州政府教育部门批准学校使用FRT系统并向公众保证数据不会与第三方共享,所有收集到的数据将受到学校的“数据使用和存储策略”约束。
几乎没有证据证明FRT系统在学校环境下的有效性。尽管这种监视能够节省管理成本。但是，学校的暴力事件往往是学校内部学生行为。而FRT系统旨在识别非学校人员，因此，FRT在保护校园安全方面价值有限。
3.2 执法部门
各级政府的执法部门采用FRTs有两个目的:核实或识别一个人的身份。在地方和州一级，这些部门在确定其数据隐私政策方面有一定程度的自主权。
在联邦一级，有两项法律管制个人数据的收集:1974年的《隐私法》和2002年《电子政务法案》。它们要求政府部门进行隐私影响评估，并通过记录系统向公众通报个人信息的收集、披露和使用情况。
在整个政府部门，FRT的软硬件来自于私营部门。目前，有几家公司公开表示担心这项技术会对公民自由产生影响。对公民权利的威胁促使旧金山和马萨诸塞州的政策制定者要求其管辖下的所有政府部门暂停使用FRTs。
3.3 私营部门
在联邦一级，生物特征信息在指定部门的立法管辖范围内受到保护。在州一级，伊利诺斯州、华盛顿州和得克萨斯州已经制定了专门针对私营部门使用生物特征信息的法律。这些立法的一个共同点是定义生物识别，将面部图像描述为“面部几何形状”或能识别特定个人的独特的生物模式。另外，这些立法都强调公司有义务将标识图像的任何商业用途通知用户并征求同意。最后，企业必须合理防范第三方获取这些数据，并设定有限的保留期限。
在政府之外，有关保护生物特征信息及其对私营企业影响的讨论也刺激了非营利部门。美国商务部下属的国家电信和信息管理局(NTIA)为非营利组织召开论坛，就人脸识别商业应用的最佳实践达成共识：必须基于公平信息实践原则（FIPPs）保护消费者。这些原则反映了保护个人信息的国际标准，并写进了1974年的《隐私法》，它们涵盖了关于同意、保留和获得数据的具体做法。关于FIPPs的争论焦点在于这些原则应该强制还是自愿遵守。行业组织主张采用自愿标准，每家公司自行决定如何保护其FRT数据，而消费者组织则支持通过立法强制性实施。这一争议直接导致一些消费者权益倡导者退出NTIA论坛。
3.4 国家安全
美国国防部和国土安全部已经开发了自动生物识别系统来记录涉嫌恐怖主义的非美国公民，一旦嫌疑人的照片被获取，相关部门会将其输入身份识别系统进行比对，鉴于目标对象身份的特殊性，他们没有拒绝将个人信息纳入系统的权利，但是他们有权去纠他们的个人信息在系统中如何被分类。
在美国，FRT主要用于移民场景。美国国务院有一个一对多的系统，能够识别签证申请过程中可能存在安全隐患的人。该系统将申请者的照片与数据库中的照片进行比对，数据库中包括被拒签的人员以及来自国家反恐中心的数据。在这个过程中，申请人自愿提交他们的数据以换取入境资格，美国方面也会告知他们，他们的信息将以交叉身份验证为目的进行存储。
另外，国土安全部也在机场中频繁应用FRT。除边境管控外，国土安全部正在研究如何使用社交媒体审查移民，需要考虑的因素包括技术、组织、评估和法律。
3.5 小结
在不同政府部门，FRT应用越来越广泛，但是没有一套统一的规则进行管理;相反，多重法律法规营造了一个脱节的政策环境，限制了政策对隐私和偏见的约束程度。
4 人脸识别技术的应用：两个用例
4.1 用例1：边境管制护照认证
该用例描述了一个通用的机场护照认证场景，其目标是确认旅客与护照照片是否为同一个人。首先进行初步比较，如果FRT没有匹配，那么旅客将接受更为严格的二次检查。该用例涉及到人脸识别的另一个功能：将旅客信息与禁止入境的黑名单进行比对。这一功能改变了数据存储的潜在架构，并提高了对隐私、准确性和数据纠偏方面的要求。
（1）隐私权和增强隐私技术
与其他FRT应用相比，该用例对隐私的侵犯程度较低，因为人们知道他们在何时何地提供个人数据，他们对如何使用数据有一定的控制。但是FRT可能会错误匹配或侵犯隐私，在本用例中，引入增强隐私技术可以增强隐私保护。
数据保护：部署FRT时可以考虑分布式存储的数据库设计，黑名单数据与护照身份信息应存储在不同的数据库和服务器中。类似地，事件日志也应该存储在不同的数据库中，这将限制非授权的访问。图像数据的完整性至关重要，摄影室应有工作人员监视，以确保旅客不使用物理黑客技术。
数据最小化：数据最小化要求仅存储护照的某些数据并限制对数据的访问。机场系统只需要明确匹配所需的护照信息(例如，护照号、提取的人脸图像特征，可能还有旅行者的姓名)，黑名单匹配可能需要额外的信息。数据最小化技术要求图像处理后只传输和存储有限分散的特征，而不是完整的图像。一种可能的做法是本地操作。
数据透明性和可纠正性：扫描护照和拍照意味着这两张照片将做对比，此时冗长的隐私政策将不可取，可以为旅客提供简短的隐私保护信息和选择-退出选项。对于不了解系统黑名单运作过程的旅客来说，系统返回假阳性结果可能会对其造成一定的伤害，但是当旅客了解认证哪一步出现错误时，可能会更愿意配合进一步审查。透明性的弊端在于，恶意入境者可能会利用系统黑名单的运作方式，使用物理黑客手段（例如戴眼镜等）来蒙混过关。
黑客：在机场，犯罪分子可能会采用不会引起当局怀疑的身份过境。他们在旅行证件中使用的照片可以匹配到长相相似的人。同时面部特征也可以骗过边防机构的肉眼识别，并绕过FRT黑名单警告系统。
（2）偏见
出现偏见的原因可能表现在两个方面：1）用于训练FRT算法的数据可能对某些群体的代表性不足或过高，增加了这些群体被拒绝入境的可能性；2）对结果的人为解释，边防机构根据算法推荐结果做出的决定取决于其主观判断，以及对特定人群的隐性或显性偏见。
即使FRT系统拥有高质量的训练数据集，并经过广泛的偏见和公平性测试，由于少数民族或历史上受迫害的群体可能对政府技术的信任度较低，FRT检查点的存在本身就会对旅客产生负面影响。因此，FRT系统的透明度和注意事项应谨慎处理，以减少这些顾虑。
（3）危险信号
在该用例中，存在以下隐私和公平的潜在危险信号:
● 除身份验证功能以外添加次要功能会增加系统的复杂性，也增加了数据保护的负担，使数据最小化变得困难。
● 缺乏便捷的错误补救措施。如果旅客在出现匹配错误时不能纠偏，系统会被认为是不公平的，个人将无法保护自己的隐私。
● 训练数据可能存在偏见，观察结果可能会引入偏见。
● 如果没有对FRT结果的人工审查，涉及照片、视频、口罩的黑客攻击将变为可能。
● 旅客可以采用整形的方式避免与黑名单头像数据匹配。
4.2 用例2：机场监控
每天大约有41000人通过巴拿马的Tocumen机场，大多数旅行者不知道的是，当他们穿过149台能够捕捉他们面部特征的终端相机时，他们的图像将与数据库中的图像进行比较，数据库中包含了国家和国际逮捕令的个人信息。这是多对多识别机制，人群中的单张人脸可以与数据库进行交叉引用。此外，旅客没有机会授权同意使用他们的肖像进行分析。
（1）隐私权和隐私增强技术
与第一个用例相比，这个用例是关于侵犯隐私的讨论，用户无法控制个人数据如何使用。此外，这种侵入式方式存在风险，造成的后果包括逮捕、身体检查或航班延误。在这种情况下，隐私增强技术可以提高隐私保护。
数据保护：机场FRT很可能将监控录像中的人与国家和国际执法机构的嫌疑人图像数据库相比对。鉴于这个数据库的敏感性，它可能会受到持续不断攻击，特别是当犯罪组织或其他不法分子希望修改系统数据时。系统需要保留操作和决策的日志，并在可能的范围内，去除个人可标识信息。
数据最小化：建议实时删除不匹配的照片。存储旅客图像的数据库可能包括敏感信息，这些信息可能会受到恶意攻击，攻击者可能通过评估人群和流量来攻击机场系统。与嫌疑人匹配的照片可能需要保存更长时间，以便执法人员能够采取相关行动。如果执法或安全机构必须根据图像搜索机场的嫌疑人，完整的图像将被存储和分析。（不同于用例1）
数据透明性和可纠正性：在误报的情况下，如何补救的问题非常复杂。无辜的旅客可能不知道他们的照片是否在嫌疑人数据库中。一旦他们意识到这一点，他们应该有权对这一结果提出异议。此外，检测真阳性的比率极低，每天可能有数百个假阳性结果。如果FRT将旅客与嫌疑人进行匹配，那么应当配置相应的纠正系统。
黑客：为了避免被FRT摄像头发现，人们可以选择临时或永久的伪装方法。这种方法适合于公开的、不受控制的环境，受试者可以通过临时伪装或整容来避免人脸识别。
（2）偏见
机场对人群的一般监控相当于进行着大量未经同意的多对多人脸匹配。偏见问题主要与假阳性有关，算法训练数据或人群中人脸匹配的目标数据可能会出现误报，这种大规模的机场监控放大了偏见的潜在影响。多对多匹配的错误率高于一对一或一对多匹配。此外，就像用例1中单独的检查站一样，大规模监控的存在可能会阻止少数群体在公共场所的自由活动。
（3）危险信号
在该用例中，存在以下隐私和公平的潜在危险信号:
● 虽然同意和控制是隐私保护的必要方面，但FRT系统很少或没有提供通知或选择的选项。
● 如果出现匹配错误时不能纠正或进行补救，系统将被认为是不公平的，人们将无法保护自己的隐私。
● 训练数据可能是偏见的来源。
● 正确识别的比率非常低。处理大量的误报可能会带来高昂的成本，并造成对系统的不信任。
● 对结果的人为解释会引入更多的偏见，并需要额外存储全脸图像或视频。
● 临时遮挡的方法非常适合于大型、拥挤的环境，例如机场。
4.3 小结
以上两个用例都有存在侵犯隐私和导致偏见的风险，常见的危险信号包括：1）错误发生时缺乏补救措施；2）训练数据集可能是偏见的来源。
5 总结
在致力于提高人脸识别系统的准确性和可接受性的组织和试图通过黑客技术破坏系统的组织之间，一场拉锯战正在酝酿。这项研究是对FRT部署所带来的挑战和影响进行多维度探索的初步尝试。通过对文献分析和案例解读，本报告认为未来有两大问题值得研究：1）如何保护受FRT系统影响的个人隐私。任何在公共场合收集个人可标识信息的技术都应该保护这些数据，使用匿名化或其他方法减少可用数据量，并建立严格的用户协议来限制未经授权的访问。2）FRT应用中的偏见问题。我们通过研究FRTs如何区别具有相同生理特征的群体，认为应该仔细考虑训练或目标数据集的组成和大小，以发现歪曲FRT算法的潜在影响因子。
在本报告提到的两个场景下，都有必要设计出避免偏见的黑名单，并确定阈值，以便在相关的应用程序中产生可接受的假阳性面部匹配率。调整阈值是FRT部署中必须解决的一个关键策略问题。最后，政府部门FRT系统可以被认为是一个包括人类判断和行为的整体系统。用例分析结果说明，在监视伪装、遮挡等物理黑客行为的自动化移民检查点或逮捕由该技术确定的嫌疑人时，人工代理是成功应用FRTs的基础。
编译 | 李顾元/上海社会科学院信息所研究生
声明：本文来自赛博研究院，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
