动态人像抓拍比对系统由前端人脸抓拍采集子系统、网络传输子系统和后端解析管理子系统组成，实现对通行人脸信息的采集、传输、处理、分析与集中管理。系统中，前端人脸采集设备负责人脸图像的采集，接入服务器主要实现图片及信息的接收和转发功能，可为多种型号、多个厂家的抓拍机提供统一接入服务，接收到的抓拍图片存入云存储单元，并由人脸结构化分析服务器对抓拍的视频及图像进行建模以及黑名单实时比对报警，建模得到的人脸信息以及模型数据存入大数据单元。后端解析应用平台则根据用户的应用需要，支持实时人脸抓拍、检索等功能，可向用户提供黑名单库与抓拍图片的实时比对信息，为快速高效查到可疑目标提供服务。

架构分为信息内网和视频专网两个部分。其中信息内网人像应用平台，主要负责区域内特色主题库和个性化采集人像库的特征提取、建库，以及与其他部署单元的联动功能；视频专网的人像识别前置服务主要负责实时视频分析、人脸照片结构化、人像比对计算、路人数据存储和路人检索等功能，承担主要的计算功能。

1、人脸检测

“人脸检测(Face Detection)”是检测出图像中人脸所在位置的一项技术。

人脸检测算法的输入是一张图片，输出是人脸框坐标序列(0个人脸框或1个人脸框或多个人脸框)。一般情况下，输出的人脸坐标框为一个正朝上的正方形，但也有一些人脸检测技术输出的是正朝上的矩形，或者是带旋转方向的矩形。

常见的人脸检测算法基本是一个“扫描”加“判别”的过程，即算法在图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸、图像内容相关。开发过程中，我们可以通过设置“输入图像尺寸”、或“最小脸尺寸限制”、或“人脸数量上限”的方式来加速算法。

2、人脸配准

“人脸配准(Face Alignment)”是定位出人脸上五官关键点坐标的一项技术。

人脸配准算法的输入是“一张人脸图片”加“人脸坐标框”，输出五官关键点的坐标序列。五官关键点的数量是预先设定好的一个固定数值，可以根据不同的语义来定义(常见的有5点、68点、90点等等)。

当前效果的较好的一些人脸配准技术，基本通过深度学习框架实现，这些方法都是基于人脸检测的坐标框，按某种事先设定规则将人脸区域扣取出来，缩放的固定尺寸，然后进行关键点位置的计算。因此，若不计入图像缩放过程的耗时，人脸配准算法是可以计算量固定的过程。另外，相对于人脸检测，或者是后面将提到的人脸提特征过程，人脸配准算法的计算耗时都要少很多。

3、人脸属性识别

“人脸属性识别(Face Attribute)”是识别出人脸的性别、年龄、姿态、表情等属性值的一项技术。

一般的人脸属性识别算法的输入是“一张人脸图”和“人脸五官关键点坐标”，输出是人脸相应的属性值。人脸属性识别算法一般会根据人脸五官关键点坐标将人脸对齐(旋转、缩放、扣取等操作后，将人脸调整到预定的大小和形态)，然后进行属性分析。

常规的人脸属性识别算法识别每一个人脸属性时都是一个独立的过程，即人脸属性识别只是对一类算法的统称，性别识别、年龄估计、姿态估计、表情识别都是相互独立的算法。但的一些基于深度学习的人脸属性识别也具有一个算法同时输入性别、年龄、姿态等属性值的能力。

4、以在基本保证算法效果的前提下，将模型大小和运算速度优化到移动端可用的状态。

5、人脸比对(人脸验证、人脸识别、人脸检索、人脸聚类)

“人脸比对(Face Compare)”是衡量两个人脸之间相似度的算法

人脸比对算法的输入是两个人脸特征(注：人脸特征由前面的人脸提特征算法获得)，输出是两个特征之间的相似度。人脸验证、人脸识别、人脸检索都是在人脸比对的基础上加一些策略来实现。相对人脸提特征过程，单次的人脸比对耗时极短，几乎可以忽略。

基于人脸比对可衍生出人脸验证(Face Verification)、人脸识别(Face Recognition)、人脸检索(Face Retrieval)、人脸聚类(Face Cluster)等算法。

6、人脸验证

“人脸验证(Face Verification)”是判定两个人脸图是否为同一人的算法。

它的输入是两个人脸特征，通过人脸比对获得两个人脸特征的相似度，通过与预设的阈值比较来验证这两个人脸特征是否属于同一人(即相似度大于阈值，为同一人；小于阈值为不同)。

7、 人脸识别

“人脸识别(Face Recognition)”是识别出输入人脸图对应身份的算法。

它的输入一个人脸特征，通过和注册在库中N个身份对应的特征进行逐个比对，找出“一个”与输入特征相似度较高的特征。将这个较高相似度值和预设的阈值相比较，如果大于阈值，则返回该特征对应的身份，否则返回“不在库中”。

8、人脸检索

“人脸检索”是查找和输入人脸相似的人脸序列的算法。

人脸检索通过将输入的人脸和一个集合中的说有人脸进行比对，根据比对后的相似度对集合中的人脸进行排序。根据相似度从高到低排序的人脸序列即使人脸检索的结果。

9、人脸聚类

“人脸聚类(Face Cluster)”是将一个集合内的人脸根据身份进行分组的算法。

人脸聚类也通过将集合内所有的人脸两两之间做人脸比对，再根据这些相似度值进行分析，将属于同一个身份的人划分到一个组里。

在没有进行人工身份标注前，只知道分到一个组的人脸是属于同一个身份，但不知道确切身份。另外假设集合中有N个人脸，那么人脸聚类的算法复杂度为O(N2)。

10、人脸活体

“人脸活体(FaceLiveness)”是判断人脸图像是来自真人还是来自攻击假体(照片、视频等)的方法。

和前面所提到的人脸技术相比，人脸活体不是一个单纯算法，而是一个问题的解法。这个解法将用户交互和算法紧密结合，不同的交互方式对应于完全不同的算法。鉴于方法的种类过于繁多，这里只介绍“人脸活体”的概念，不再展开。