[发明专利]一种基于卷积神经网络的人脸检测方法及装置

权利要求书

1.一种基于卷积神经网络的人脸检测方法，其特征在于，所述方法包括：

将卷积神经网络划分为三级卷积神经网络，第一级网络为全卷积神经网络，第二级网络和第三级网络分别为双流的内部级联卷积神经网络；

将预处理后的多张待检测图片输入至所述第一级网络，获得包含初始人脸检测框的图片；

将所述包含初始人脸检测框的图片输入至所述第二级网络和第三级网络，获得包含人脸的图片；

所述双流的内部级联卷积神经网络分为人脸区域卷积神经网络和身体区域卷积神经网络，所述人脸区域卷积神经网络和身体区域卷积神经网络在最后的全连接层进行融合，所述人脸区域卷积神经网络和身体区域的卷积神经网络分别为内部级联卷积神经网络，所述内部级联卷积神经网络在池化层后连接早期拒绝分类器和数据路由层。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

训练所述三级卷积神经网络，以利用人体关节点位置,为人脸的检测提供辅助信息。

3.根据权利要求2所述的方法，其特征在于，所述训练所述三级卷积神经网络包括：

在身体区域卷积神经网络训练过程中，对进入最后一层卷积层的身体区域图像做反卷积操作生成人体关节点热图，学习得到与人体关节点热图对应的预测热图；

通过对生成的关节点热图和预测热图的残差求导训练所述身体区域卷积神经网络。

4.根据权利要求1所述的方法，其特征在于，所述将所述包含初始人脸检测框的图片输入至所述第二级网络和第三级网络，获得包含人脸的图片包括：

根据所述初始人脸检测框的位置获取对应的身体区域图像；

将所述初始人脸检测框中的图像和对应的身体区域图像输入第二级双流的内部级联卷积神经网络；

将传输到早期拒绝分类器的图像分为人脸图像和非人脸图像，淘汰非人脸图像并计算人脸图像是人脸的概率；

所述人脸图像传输至数据路由层，若人脸图像是人脸的概率小于或者等于阈值，则淘汰人脸图像是人脸的概率小于或者等于阈值的人脸图像；

若人脸图像是人脸的概率大于所述阈值，则将人脸图像是人脸的概率大于所述阈值的人脸图像继续传输；

将最终传输到全连接层的人脸区域卷积神经网络输出的人脸图像和身体区域卷积神经网络输出的人脸图像融合并输出带人脸检测框的图片；

将第二级网络输出的人脸检测框中的图像和所述第二级网络输出的人脸检测框的位置对应的身体区域图像输入第三级双流的内部级联卷积神经网络，淘汰非人脸图像，最终输出带人脸的图片。

5.一种基于卷积神经网络的人脸检测装置，其特征在于，所述装置包括：

构建模块，用于将卷积神经网络划分为三级卷积神经网络，第一级网络为全卷积神经网络，第二级网络和第三级网络分别为双流的内部级联卷积神经网络；

第一级检测模块，用于将预处理后的多张待检测图片输入至所述第一级网络，获得包含初始人脸检测框的图片；

人脸输出模块，用于将所述包含初始人脸检测框的图片输入至所述第二级网络和第三级网络，获得包含人脸的图片；

所述双流的内部级联卷积神经网络分为人脸区域卷积神经网络和身体区域卷积神经网络，所述人脸区域卷积神经网络和身体区域卷积神经网络在最后的全连接层进行融合，所述人脸区域卷积神经网络和身体区域的卷积神经网络分别为内部级联卷积神经网络，所述内部级联卷积神经网络在池化层后连接早期拒绝分类器和数据路由层。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

训练模块，用于训练所述卷积神经网络，以利用人体关节点位置，为人脸的检测提供辅助信息。

7.根据权利要求6所述的装置，其特征在于，所述训练模块具体用于：

在身体区域卷积神经网络训练过程中，对进入最后一层卷积层的身体区域图像做反卷积操作生成人体关节点热图，学习得到与人体关节点热图对应的预测热图；

通过对生成的关节点热图和预测热图的残差求导训练所述身体区域卷积神经网络。

8.根据权利要求7所述的装置，其特征在于，所述人脸输出模块包括：

身体区域生成单元，用于根据所述初始人脸检测框的位置生成对应的身体区域图像；

输入单元，用于将所述初始人脸检测框中的图像和对应的身体区域图像输入第二级双流的内部级联卷积神经网络；

分类单元，用于将输入的图像分为人脸图像和非人脸图像，淘汰非人脸图像并计算人脸图像是人脸的概率；

处理单元，用于若人脸图像是人脸的概率小于或者等于阈值，则淘汰人脸图像是人脸的概率小于或者等于阈值的人脸图像；

处理单元，还用于若人脸图像是人脸的概率大于所述阈值，则将人脸图像是人脸的概率大于所述阈值的人脸图像继续传输；

输出单元，用于将最终传输到全连接层的人脸区域卷积神经网络输出的人脸图像和身体区域卷积神经网络输出的人脸图像融合并输出带人脸检测框的图片；

三级检测单元，用于将第二级网络输出的人脸检测框中的图像和所述第二级网络输出的人脸检测框的位置对应的身体区域图像输入第三级双流的内部级联卷积神经网络，淘汰非人脸图像，最终输出带人脸的图片。