人脸识别技术在各种有安全性需求的身份识别鉴定场景有着广泛应用，例如手机电脑解锁， 企业住宅安全管理，公安司法刑侦等领域。作为一项起源于1960-1970年的技术，经过了逾50年发展，至今在科研领域已经有数以千篇相关论文发表，在应用领域亦有数以万计相关专利申请。随着这些技术的发展，目前已经有了越来越多的基于人脸识别的应用，例如我们现在应用极广的“刷脸支付”、“刷脸打卡”等。
但随着技术的发展，当年很多电影中的画面慢慢变成了现实，坏人可以通过带上提前准备好的照片或者面具，甚至是一副眼镜，轻而易举的被识别成其他人，当年由Kirby和Sirovich[1]提出的基于特征识别的机器自动识别方法已经有一些不太安全。大家当然不想被其他人冒充身份，随着这种人脸伪造的风险和隐患逐日增加，人脸防伪（face anti-spoofing）/活体检测(liveness detection)技术得到了越来越多的关注。
1 人脸识别面临的三种欺诈手段
恶意用户通常会使用以下三种方式来冒充合法用户的身份：
a 合法用户的人脸图片：
用户的人脸图片是最容易获取的，可以通过偷拍，在互联网上搜索（例如微博，朋友圈，小红书）等形式得到。恶意用户可以打印其照片或使用屏幕和其他投影装置欺骗人脸识别系统。
b 合法用户的人脸视频：
可以直接盗取用户现有视频，或偷拍，也可以通过Deepfake[2]等技术手段合成视频，如果可以获得含眨眼，头部运动等活体信息的视频将会对图像人脸识别系统有较大威胁。恶意用户可以通过屏幕或投影设备等播放视频来欺骗人脸识别系统。
c 合法用户的3D模型
（包括面具或头套）：
直接三维合成人脸对系统进行欺诈可能会比上述两种手段更具威胁。恶意用户可以直接头戴或者摆放模型等方式欺骗人脸识别系统。
2 什么是活体检测技术
简单而言，活体检测技术目标在识别出成像设备（摄像头等）上检测出的物体是否来源于真实的人体，而非一个假冒的、没有生命特征的物体（照片或面具等）。通常，活体检测会利用一些特别生物特征识别人脸（例如红外生物特征扫描仪），去对抗检测虚假的样本。早年在指纹识别应用中就有针对活体手指的检测技术，即机器通过简单的原理（例如通过识别皮肤的温度或皮肤的电容值等）只对真人活体手指产生识别反应，对其他的一切物体均不作识别。一言以蔽之，一个人脸识别活体检测系统会利用一些相对安全的生物特征结合基于模式识别的人脸识别来对抗人脸伪造攻击。
图1 活体检测在人脸识别系统中处于的位置
3 人脸识别中的活体检测算法分类
根据用户的数据种类不同，活体检测技术通常分为三类：
图片活体检测：通过静态图片进行活体检测，通常基于传统图像处理，主要的方式有基于纹理特征的方式、基于图像质量的方式、以及基于深度特征的方法。
其中，基于纹理特征的方法主要专注使用人脸照片或视频进行的攻击，照片或视频中的人脸在摄像头下二次成像时面部的纹理会带有纸质或者屏幕的纹理（例如摩尔纹等），而与普通活体人脸皮肤的纹理存在差异。除此之外，真实人脸与图片或视频人脸主要的差异也在于三维结构与二位结构的差异，光在三维结构和二维结构表面形成不同的反射也会造成颜色阴暗区域的差异。这些差异可以有效的帮助基于纹理特征的活体检测方法区分真实人脸与虚假人脸。用于抽取人脸纹理特征的方法有局部二值模式（Local Binary Patter, LBP）, 方向梯度直方图（Histogram of Oriented Gradient, HOG）和局部相位量化（Local Phase Quantization, LPQ）等[3]。色彩纹理特征上，灰度值（Gray-scale）、色彩空间（Hue-Saturation-Value, HSV）和特殊颜色空间（Luminance-Color-blue-Color-red, YCbCr）等特征都具有很好的活体与非活体区分效果[4]。
图2 重放（照片与视频）的人脸与活体人脸在纹理颜色上不同[7]
基于图像质量的方式主要通过呈现的虚假人脸与真实人脸之间图像质量的差异，由于虚假人脸通常需要通过中介（如照片、显示器等）呈现在人脸识别系统前，容易导致虚假人脸的图像质量和活体人脸存在差距，例如图像颜色的失真、显示器反光导致的色差、与人脸图像的模糊程度等。目前比较常用的基于图像质量的活体检测方式会利用人脸的失真程度、图像模糊程度、颜色分类等特征，使用SVM，二次判别分析（QDA）等分类模型区分活体人脸与虚假人脸[5]。
基于深度特征的方法主要是在前两种方法的基础上，利用深度学习方法高效抽取高层语义的特征表达。为了达到更好的区分度，基于深度特征的方法首先利用传统的方式对人脸图像进行处理后，利用卷积神经网络抽取分类特征。得益于现在深度伪造技术的发展，防御者也可以获得大量真脸/假脸的数据集，来训练他们的活体检测系统，目前基于卷积神经网络的图片活体检测的成功率可以高达99.8%[6]。
配合式活体检测：需要人脸识别使用者的配合交互，通过判断用户是否按照要求在镜头前完成指定动作来进行活体检测，主要包括动作活体检测和语音活体检测。
动作活体检测需要用户根据提示做出相应的动作，通过眨眼、点头、摇头、张嘴等面部动作验证用户是否为真实活体本人操作。动作式活体检测依赖于动作识别算法的性能和准确率，通常方法是通过对一个连续多帧人脸活体图像数据中包含的活体动作特征执行区域信息进行动作特征识别抽取，例如二值化处理，然后通过分析多帧图像之间特征变化是否大于指定动作对应阈值来判断用户是否完成了该动作。
语音活体检测则是需要用户配合提示读出相应文字验证码，然后分别对视频和音频进行检测。这种技术主要通过人脸关键点定位技术和人脸追踪等技术，通过用户配合完成的动作声音是否与系统要求相符合来验证用户是否为真实的活体本人。也可以通过抽取嘴部区域的光流特征变化，然后使用SVM等分类器识别用户是否完成了文字的朗读[8]。
配合式的活体检测出现时间较早，并且成本较低。目前很多金融机构的交易支付，例如支付宝等认证普遍使用配合式活体检测。但目前，由于交互式人体检测检测过程繁琐，所需时间较长，很多需要自然识别或快速识别的场景并不适用交互式人体检测。
图3 支付宝人脸识别活体检测
静默活体检测：无需用户动作或语音配合，可以在不超过1秒的时间内实时完成检测。静默活体检测的主要原理是结合了图片活体检测，除了抽取图片的纹理颜色特征，利用图片的质量进行判断外，还利用了基于生命信息的方法与和时间相关的深度特征。
由于真实人脸并非绝对静止，存在很多不自觉的轻微动作，活体人脸会有心跳导致血管抖，眨眼，微表情引起脸部肌肉跳动等生命特征，可以利用人脸识别过程中的多帧画面提取运动特征，心跳特征，连续性特征等用于活体检测。通过远程光体积变化描记图法（Remote photoplethysmography, rPPG）等方法可以检测到来自摄像头的人体器官变化信息，通过计算人体心率以及人脸血流导致的颜色变化等有效信息来区分真假人脸[9]。基于生命信息的方法对利用3D模型的虚假人脸攻击有明显的防御效果。
同时也可以结合人工智能的帮助，可以从连续多帧的图片中抽取空间深度特征，再将抽取到的特征输入循环神经网络中（例如长短期记忆网络LSTM），学习帧间的时序变化信息，综合空间深度特征和时序信息进行真假人脸的判断。除了利用神经网络从图片中直接抽取的特征，也可以结合人为设计的特征提升算法性能。
虽然静默活体检测方法的计算成本相对较高，但用户体验更好。目前静默活体检测技术广泛应用于门禁/考勤、刷脸机器、闸机等需要快速验证的设备上。
4 人脸识别的设备
日常生活中，人脸识别活体检测的设备通常讨论的是传统可见光RGB摄像头上的检测。除此之外，目前也出现了多元化的其他硬件，例如红外摄像头、三维深度摄像头、光场相机、双目摄像头检测等获取相应的人脸信息进行活体检测。
其中红外摄像头主要利用真假人脸材质，温度不同，会导致被测试目标散发的热辐射和红外线反射属性产生差异，利用这些信息可以轻松分辨真假人脸。深度摄像头可以记录物体间的深度信息，基于二维图像的照片与视频等伪造手段会被直接检出。基于三维的面具，假体人脸等手段也可以通过计算人脸的表面结构与性状，利用曲率测量的方式进行一定程度区分[10]。光场相机可以记录光在空间中的方向和位置等，不同的光分布可以用于计算输入图像的深度信息，利用光场照片得到可视化信息可以与普通RGB照片中的人脸特征结合判断真假人脸。双目摄像头可以结合上述任意多种摄像头，利用两种不同的信息进行人脸识别活体检测，安全性较高。为实现检测效果和成本的平衡，目前的人脸识别设备比较常用采用RGB可见光摄像头结合近红外摄像头的方案。
5 总结
随着现在技术的发展，人脸登录、人脸支付、人脸闸机等商业化应用也开始广泛的在安全、金融、教学、医院等领域落地。在大部分人脸识别技术的现实应用场景中，如果被伪造人员攻击成功，很有可能性就会对使用者产生重大损失。越是这样，活体检测技术就越来越具备了重要的科研价值和现实的商业使用价值，因此活体检测技术对于提高人脸识别系统的安全性、可信性有着非常关键的意义，已成为目前人脸识别应用中不可缺少的重要部分。（胡平一、马晓静）
参考文献：
1. M. Kirby and L. Sirovich, “Application of the karhunen-loeve procedure for the characterization of human faces”, IEEE Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 103-108, 1990.
2. Li, Changjiang, et al. “Seeing is living? rethinking the security of facial liveness verification in the deepfake era.”, Usenix Security 2022, CoRR abs/2202.10673 (2022).
3. Daniel, Neenu, and A. Anitha. "Texture and quality analysis for face spoofing detection." Computers & Electrical Engineering 94 (2021): 107293.
4. Boulkenafet, Zinelabidine, Jukka Komulainen, and Abdenour Hadid. "Face spoofing detection using colour texture analysis." IEEE Transactions on Information Forensics and Security 11.8 (2016): 1818-1830.
5. Fourati, Emna, Wael Elloumi, and Aladine Chetouani. "Anti-spoofing in face recognition-based biometric authentication using image quality assessment." Multimedia Tools and Applications 79.1 (2020): 865-889.
6. Yu, Zitong, et al. “Searching central difference convolutional networks for face anti-spoofing.”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
7. Boulkenafet, Zinelabidine, Jukka Komulainen, and Abdenour Hadid. “Face anti-spoofing based on color texture analysis.”, 2015 IEEE international conference on image processing (ICIP). IEEE, 2015.
8. Zhou, Man, et al. "Securing face liveness detection using unforgeable lip motion patterns." arXiv preprint arXiv:2106.08013 (2021).
9. Rahman, Md, et al. "Cascade classification of face liveliness detection using heart beat measurement." Proceedings of International Conference on Trends in Computational and Cognitive Engineering. Springer, Singapore, 2021.
10. Tang YH, Chen LM. 3D facial geometric attributes based anti-spoofing approach against mask attacks. In: Proceedings of the 12th IEEE International Conference on Automatic Face and Gesture Recognition. Washington, DC, USA: IEEE, 2017. 589−595.
注：封面图来源：
https://zhuanlan.zhihu.com/p/44904820
声明：本文来自穿过丛林，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
