[发明专利]一种基于深度学习的视频目标去除及背景恢复方法

说明书

本发明提供一种基于深度学习的视频目标去除及背景恢复方法，包括如下步骤：S1）人脸检测；S2）人脸识别；S3）人身检测；S4）人脸与人身匹配；S5）去除行人与背景恢复。本发明的优点为：将视频中非控制条件下准确的人脸识别与高精度、高准确率的人身检测的技术融合，只要给定视频中需要去除的人脸图片就可以在视频中全自动去除此行人，去除的区域用相似背景填充，不需要人工干预，可节省人工和时间成本。

技术领域

本发明涉及图像处理和模式识别技术领域，具体涉及一种基于深度学习的视频目标去除及背景恢复方法。

背景技术

本发明的技术领域涉及人脸检测技术领域和人身检测技术领域。

人脸检测技术作为多种视觉任务的基础，在图像处理与模式识别领域占据十分重要的地位。近些年，伴随着基于神经网络的人工智能的快速发展，人脸检测技术越来越多地应用在诸如人证比对、会议签到、人脸闸机、人脸识别等各类视觉任务中。

而后期视频制作中所需的人脸检测和识别技术是一种非可控条件下的任务，视频中的人脸存在偏移角度大、被遮挡等非可控问题，使得视频中的人脸检测和识别难度较大。非可控条件下的人脸特征的匹配是后期视频处理中的人脸识别的关键步骤。现有的后期视频处理技术对于某些特定目标出现的场景，都是人工将特定目标出现过的视频帧直接删除，这样易丢失原有的场景信息，导致视频不连贯。

另一个技术领域，人身检测技术伴随着基于神经网络的人工智能的快速发展，越来越多地应用在诸如车辆辅助驾驶、自动驾驶、智能交通、行人识别等各类视觉任务中，这些视觉任务都需要依赖鲁棒的人身检测方法。

发明内容

本发明的目的是提供一种将视频中非控制条件下准确的人脸识别与高精度、高准确率的人身检测的技术融合的基于深度学习的视频目标去除及背景恢复方法。

为了达到上述目的，本发明通过以下技术方案来实现：

一种基于深度学习的视频目标去除及背景恢复方法，包括如下步骤：

S1）人脸检测

采集视频数据，提取可做人脸检测的视频帧，分别对每一帧进行处理，将视频帧中出现的每个人脸进行尺度缩小，选取最终的训练图片；

将VGG神经网络作为网络的基本结构，将网络分为6个block，在中间层添加改进的inception结构，对底层的4个block使用特征金字塔进行特征融合并在其后添加卷积层，对剩下的2个block不进行特征融合且在其卷积模块的最后一层输出后面添加分类损失函数和回归损失函数；

S2）人脸识别

以深度残差网络resnet50为基础设计分支网络，在resnet50基础模块增加网络的宽度和深度，在resnet50中间部分增加两个分支，将两个分支进行特征融合后再与主干分支进行特征融合，提取最后全连接层的512维特征向量作为最终的人脸特征，采用人脸特征的余弦相似度作为判定标准；

S3）人身检测

读取视频图像序列中的视频帧，将视频帧图像送入训练好的网络中做前向传播，取每层金字塔和其余未进行特征融合的卷积层的输出各自计算分类结果和回归结果，分类结果指该锚点表示的目标是行人或背景的概率，回归结果指预测结果相对于锚点的偏差，锚点指人身区域的中心坐标点；

首先，筛选出行人概率超过阈值的锚点，去除锚点对应预测的偏差，用预测出的偏差修正锚点的坐标，得到初步的检测结果P1；

然后，使用非极大值抑制算法对初步的检测结果P1按照概率进行排序，过滤掉局部非最大概率的检测结果，得到P2；