[发明专利]一种基于监控系统的人脸图像自动处理系统

权利要求书

1.一种基于监控系统的人脸图像自动处理系统，其特征在于，由如下7个功能模块构成：人脸图像筛选模块，图像预处理模块，人脸图像评估模块，人脸图像识别模块，不理想人脸图像处理模块，识别结果处理模块，人机交互模块，这7个功能模块各自的实现方法如下：

人脸图像筛选模块对监控图像的每一个个体进行跟踪并提取一个时间段内的人脸图像集合，并对该集合中的人脸图像找出最易识别的一张图像，将该图像传递给图像预处理模块，并将对应的经过裁剪的视频片段传递给识别结果处理模块；

图像预处理模块将接收到的人脸图像进行去噪、然后进行光照补偿，并将处理过的人脸图像传递给人脸图像评估模块；

人脸图像评估模块将接收到的人脸图像进行分类，将人脸图像分成不易识别、易识别两类图像，若待评估的图像已经评估超过两次，则直接评估为不易识别，将易识别的人脸图像传递给人脸图像识别模块，对于不易识别的人脸图像，若为第一次评估则传递给不理想人脸图像处理模块，若为第二次评估则传递给识别结果处理模块；

人脸图像识别模块将接收到的人脸图像进行识别，若成功识别，则将识别结果传递给识别结果处理模块，若不成功识别，则将该图像传递给不理想人脸图像处理模块；

不理想人脸图像处理模块利用图像的智能生成算法将图像中存在的低像素问题、遮挡问题、角度问题进行消除，从而得到一副能够被识别的人脸图像，然后将该图像传递给人脸图像评估模块；

识别结果处理模块，能够根据人脸图像评估模块和人脸图像识别模块传递来的信息进行处理；也能够根据人机交互模块所传递来的操作进行处理，本模块负责对系统的信息进行整理，然后将整合结果传递给人机交互模块；

人机交互模块根据传递来的信息进行处理，并将监控结果显示在图像中，本模块可以接收操作人员的输入，从而对整个监控系统的阈值和参数进行调整。

2.根据权利要求1所述的一种基于监控系统的人脸图像自动处理系统，其特征在于所述的人脸图像筛选模块的具体实现方法为：

所述的人脸图像筛选模块，在初始化的过程中，接收自然条件下的人脸和非人脸的灰度图像集合，这些样本图片的维度统一为n×n维，然后对每一张样本图片P，构建图片P所对应的积分图PP，然后使用所有积分图对级联分类器进行参数初始化，最后将训练所得的级联分类器保存起来用于检测过程；在检测过程中，对于每个时间间隔t内的视频片段的每一帧图像，其中，t的值由人机交互模块输入，首先对第一帧图像进行人脸检测，然后对检测到的每一个人脸对应的人脸检测框进行标号，然后根据第一帧的每一个人脸检测框的坐标区间，使用基于ORB特征的跟踪算法进行多目标跟踪，由于基于ORB特征的跟踪算法系统开销小，可以实时跟踪多目标，所以在对第二帧跟踪时，得到第二帧的人脸检测框，考虑到时间间隔很短，人脸图像的大小变化比较小，所以人脸检测框的大小不做调整，然后处理第三帧，直到视频处理结束，此时每一个人脸检测框对应的视频每一帧的内容构成的图像集合，即当前标号的人脸图像的视频片段；

所述的构建图片P所对应的积分图PP，其过程为：

对于图像P，从图像P对应的矩阵的第1行第1列开始构造积分图，初始时设s(1，1)＝P(1，1)，RR(1，1)＝P(1，1)，构造过程为一个二层循环：

从而构造出P分量所对应的积分图PP；

所述的使用所有积分图对级联分类器进行参数初始化，其过程为：

第一步，定义弱分类器的函数h(x，f，p，θ)为：

其中f为特征函数，θ为阈值，p取值为1或-1，x代表根据积分图PP所构建的子窗口，对于每一个子窗口x，f(x)为该子窗口x对应于特征函数f的特征值；

将子窗口x的四个边界分别定义为左上点A，右上点B，左下点C，右下点D，A与B的中心点为ab，A与B的三分之一靠近A点为aab，三分之一靠近B点为abb，其余类推，区域内的中心点用O来表示，则x(A)表示子窗口在左上点A的积分图所对应的值，其余同理；

则特征函数f的特征值f(x)的具体计算公式定义为：

fa(x)＝[x(bd)+x(A)-x(B)-x(ac)]-[x(ac)+x(D)-x(bd)-x(C)]，并且定义s＝1，t＝2；

fb(x)＝[x(A)+x(cd)-x(BC)-x(ab)]-[x(ab)+x(D)-x(B)-x(cd)]，并且定义s＝2，t＝1；

fc(x)＝[x(A)+x(bbd)-x(aac)-x(B)]-2×[x(bdd)+x(aac)-x(acc)-x(bbd)]+[x(D)+x(acc)-x(bdd)-x(C)]，并且定义s＝1，t＝3；

fd(x)＝[x(A)+x(ccd)-x(aab)-x(C)]-2×[x(cdd)+x(aab)-x(abb)-x(ccd)]+[x(D)+x(abb)-x(B)-x(cdd)]，并且定义s＝3，t＝1；

fe(x)＝[x(A)+x(O)-x(ab)-x(ac)]+[x(D)+x(O)-x(bd)-x(cd)]-[x(ab)+x(bd)-x(B)-x(O)]-[x(ac)+x(cd)-x(O)-x(C)]，并且定义s＝2，t＝2；

第二步：构建积分图PP所对应的子窗口x；该子窗口x的选择过程如下：

定义自然数s和t，这两个数为子窗口的倍数，这两个数值的选定由特征函数给定，于是，x所对应的子窗口区域为：[(i，j)，(i，j+t×(b-1))，(i+s×(a-1)，j)，(i+s×(a-1)，j+t×(b-1))]，其中：i，j，a，b分别为从1开始递增的整数，并且能够保证i+s×(a-1)≤n，j+t×(b-1)≤n成立的所有取值；

第三步：对于定义的5个特征函数，计算所有训练样本的所有RGB分量对应于当前子窗口x的特征值fa(x)，fb(x)，fc(x)，fd(x)，fe(x)，将在当前RGB分量下当前子窗口x的每一个特征值称为一个特征，如果当前窗口下有wf个子窗口，那么一共有T＝3×wf×5个特征，每一个特征表示为h_t，设人脸的图片和非人脸的图片各有K张，则对分类器的训练过程如下：

1).对于每一张图片X_i，y_i为该图片的分类，若y_i＝1表示该图片为非人脸的图片，若y_i＝-1表示该图片为人脸的图片；

2).对于t＝1，2，…，T，T为特征个数：

①.所有样本在特征h_t下的特征值f_r，其中r＝1，2，…，2K，2K为人脸和非人脸图片的总数；

②.将所得的所有特征值按照从大到小的顺序进行排序；

③.计算全部非人脸子图的权重之和：T⁺＝sum(f_r(x))，x∈非人脸的子图；

④.计算全部人脸子图的权重之和：T^-＝sum(f_r(x))，x∈人脸的子图；

⑤.对于排序好的每个元素，从第一个开始处理，设当前处理的元素为i：

a).计算所有大于当前元素非人脸的子图的权重值和：x_j∈非人脸的子图，并且j＜i；

b).计算所有大于当前元素的人脸的子图的权重值和：x_j∈人脸的子图并且j＜i；

c).计算分类器在当前元素下的误差：

⑥.选取使得e_i最小的元素所对应的标号i，然后将特征值f(x_i)和特征值排在i前一位的f(x_i-1)求平均值，得到弱分类器的参数θ＝[f(x_i)+f(x_i-1)]/2，若p＝-1，否则，p＝1；

⑦.若最小的误差e_i＞1％，则意味着误差过大，舍弃；否则，将当前h_t(x，f，p，θ)作为选好的弱分类器；

3).将所有选好的分类器h_t按照t值从小到大排列起来，构成集合H，于是得到了要训练的级联分类器；

所述的对第一帧图像进行人脸检测，其方法为：首先判断接收到的监控图像是否为彩色图像，若为彩色图像，则将该图像转为灰度图像，设灰度图像为X′，然后将灰度图像按照窗口大小为n×n来提取其子图集合，对于所得的所有子图片，构建其积分图，最后用训练所得的级联分类器进行分类筛选，得到所有人脸的子图片，将这些子图片分别使用训练所得的级联分类器进行分类，用于判断当前子图是否为人脸，然后将被检测为人脸的子图在原始图像的坐标信息作为该人脸检测过程的检测结果；

所述的将该图像转为灰度图像，其转换方法为：对于原始彩色图片上的每一个像素点X所对应的R，G，B分量，用i和j表示横纵坐标，则该像素点对应的灰度图像X′的灰度值为X′(i，j)＝0.3×B′(i，j)+0.59×G′(i，j)+0.11×R′(i，j)，其中X′(i，j)为整数，若所得结果为小数的话，仅取其整数部分，从而得到原始X的灰度图像X′；

所述将灰度图像按照窗口大小为n×n来提取其子图集合，其方法为：

首先，对于原始的M行N列的图像，定义块大小为n×n，则将提取像素区域定义为：[(i，j)，(i，j+n-1)，(i+n-1，j)，(i+n-1，j+n-1)]所围成的正方形区域，其中i＝[1，…，M-n+1]，j＝[1，…，N-n+1]，从而得到缩放图的第1层，该层共有(M-n+1)×(N-n+1)张子图，每张子图大小为n×n维，对于每一张图片，记录其图像的提取区域为左上点A＝(i，j)右下点D＝(i+n-1，j+n-1)；

然后，将原始图缩放成行列；

对于原始图片X，其上的每一个像素点为X(i，j)，对于缩放后的图片X^1/2(a，b)，缩放过程为：

对于

对于

X^1/2(a，b)＝X(i，j)，其中，i＝2×a，j＝2×b；

其中，和为M/2和N/2所得的整数部分；

对于所得的缩放后的图像继续使用上述方法进行提取子图，从而得到缩放图的第2层，该层共有张子图，每张子图的大小为n×n维，对于每一张子图片，记录其在原始图像上提取区域的坐标，区域的坐标表示为左上点A和右下点D；对于第i层，将原始图像缩放成行列的图像，并继续使用上述方法进行提取子图，该层共有张子图，每张子图的大小为n×n维，对于每一张子图片，记录其在当前图像上提取区域的坐标；…；直到时，意味着缩放后的图像最短边小于n，此时已经无法提取出子图，于是提取过程结束；

所述的将这些子图片分别使用训练所得的级联分类器进行分类，其过程如下：设级联分类器H共有T′个分类器h_i，其中，i＝1，2，…，T′，

对于所用于筛选的每一张n×n维子图

对于i＝1，2，…，T′

计算在当前子图下的h_i，若h_i＝0，当前子图是人脸，该子图的分类筛选过程结束；

若当前子图在所有分类器下的分类结果h_i都为1，则说明当前子图为人脸；

所述对检测到的每一个人脸对应的人脸检测框进行标号，该标号的命名方式如下：bak表示当前图像对应的视频备份编号，time表示当前人脸属于第几个时间段，开机的第一段视频编号为1，然后依次增加；frame表示在当前时间段内属于第几帧，视频的第一帧编号为1，然后依次增加，num表示当前人脸图像属于第几个人脸，人脸图像以人脸检测框的左上角左边为排序依据，对于两个人脸检测框的左上角坐标a：(x1，y1)和b：(x2，y2)，若x1＜x2，则a在b的前边，若x1＞x2，则b在a的前边，若x1＝x2，则比较y1和y2，值小的在前边，若相同，则随机排序；待所有的人脸图像根据左上角坐标排序后，排在第一位的编号为1，然后依次增加；因此，对于第r个备份的第s个视频编号的第t帧的第u个人脸，编号为bak.r_time.s_frame.t_num.u；

所述的基于ORB特征的跟踪算法进行多目标跟踪，其方法为：设当前已经得到了上一帧的所有人脸检测框的位置构成的集合，算法需要根据上一帧的人脸检测框内的人脸图像ORB特征来判断当前帧所对应的人脸图像的位置，设上一帧为i-1，则当前帧为i，那么对于人脸检测框集合中的第j个人脸图像，在上一帧用frame.i-1_num.j，当前帧用frame.i_num.j表示；对于上一帧的每一个人脸检测框，设当前框编号为j，第1步，提取人脸检测框j在上一帧的对应位置的人脸图像的ORB特征，其ORB特征为若干组长度相同的字符串，每一组字符串的元素为[0，1]，为了节省空间，可以让计算机的一个字节的每一位与位串的一位相对应；第2步，设该人脸检测框j在上一帧的位置为(x，y)，(x+a，y)，(x，y+b)，(x+a，y+b)，其中a和b表示目标人脸P的长与宽；而设目标人脸P所在的原始帧的下一帧为PP，则在图片PP以目标人脸P在原始帧的位置为(x，y)，(x+a，y)，(x，y+b)，(x+a，y+b)为中心，找出其周围的所有待检测框，并计算每一个待检测框内图像的ORB特征；第3步，计算所有待检测框的ORB特征与原始帧的ORB特征的距离，统计匹配成功的特征点的个数，选择匹配成功最多的待检测框作为为目标人脸在当前帧的位置；

所述的ORB特征，对一个图片提取其ORB特征，输入值为当前图片，输出为若干组长度相同的字符串，每一组代表一个ORB特征；

所述的找出其周围的所有待检测框，对于待提取的图片PP，原始图片位置为(x，y)，(x+a，y)，(x，y+b)，(x+a，y+b)四个点所围成的矩形；以(x+i，y+j)，(x+a+i，y+j)，(x+i，y+b+j)，(x+a+i，y+b+j)所围成的矩形，表示原始图片位置向右或者向左移动|i|个像素，并且向下或者向上移动|j|个像素，其中若i＞0表示向右移动，若i＜0表示向左移动，若j＞0表示向下移动，若j＜0表示向上移动；其方法是：计算其对应位移为k像素的候选框，由于每个候选框差别仅仅在于(i，j)的取值不同，所以，对于位移为k的候选框，其(i，j)分别为：第一组：(i-k，jj)，其中，jj＝[j-k+1，j+k-1]；第二组：(i+k，jj)，其中，jj＝[j-k+1，j+k-1]；第三组：(ii，j-k)，其中，ii＝[i-k+1，i+k-1]；第四组：(ii，j+k)，其中，ii＝[i-k+1，i+k-1]；第五组：(i-k，j-k)，(i-k，j+k)，(i+k，j-k)，(i+k，j+k)；k的取值通常为[1，2，3，……i与j的最大值]，由于上述方法会产生较多的候选框，通常情况下k可以不连续，k、i和j的值可以根据人机交互模块的输入取值，由于人移动较慢，所以通常k、i和j的取值都很小；

所述的计算所有待检测框的ORB特征与原始帧的ORB特征的距离，其方法为：考虑到对于每一个ORB特征V，V(i)表示V(i)的第i位，V(i)的取值为0或1，那么对于每一个待检测框的ORB特征与原始帧的ORB特征之间的距离的计算方法如下：对比两组ORB特征的每一位，计算所有对应位不相同的个数，所述的对应位不相同是指V1(i)≠V2(i)，其中V1(i)表示第一个ORB特征的第i位，V2(i)表示第二个ORB特征的第i位；

所述的统计匹配成功的特征点的个数，其方法是：

对于ORB特征集合ORB1的每一个ORB特征V1

计算V1与ORB2的每一个特征的距离；

若最小距离小于阈值，并且：最小距离＜0.8×第二小距离

意味着匹配成功，将匹配成功的数量加1。