[发明专利]人脸关键点定位方法及装置有效

专利信息
申请号: 201611135718.7 申请日: 2016-12-09
公开(公告)号: CN106599830B 公开(公告)日: 2020-03-17
发明(设计)人: 孙哲南;赫然;谭铁牛;李琦;曹冬;宋凌霄 申请(专利权)人: 中国科学院自动化研究所
主分类号: G06K9/00 分类号: G06K9/00;G06K9/62
代理公司: 中科专利商标代理有限责任公司 11021 代理人: 钟文芳
地址: 100190 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 关键 定位 方法 装置
【说明书】:

发明公开了一种人脸关键点定位方法及装置。该方法包括:通过多任务卷积神经网络进行粗定位,确定人脸关键点大体位置;然后在关键点周围提取局部区域,通过全局级联卷积神经网络把关键点周围提取局部区域融合到一起,进行级联定位;最后在针对每个关键点单独训练卷积神经网络进行精细定位。本发明所用神经网络总体数目较少,定位效果相对较好。

技术领域

本发明涉及数字图像处理,计算机视觉等技术领域,具体涉及一种基于全局卷积神经网络人脸关键点定位方法及装置。

背景技术

关键点定位(检测)在计算机视觉中是一个重要的问题,指的是定位人脸中有语义结构信息的一些关键部位,如眼睛,鼻子和嘴巴等,是有监督人脸对齐中的一个重要的步骤。关键点定位也有很多实际的应用,比如说人脸识别、人脸表情分析、人机交互应用等。由于头部姿态、人脸表情以及光照的变化,关键点定位依然是一个十分有挑战性的问题。传统的基于卷积神经网络的关键点检测算法先用一个整体神经网络定位关键点,之后把每个关键点单独隔离出来定位。虽然传统的方法定位精度较高,但是忽略了人脸形状的全局信息,对光照变化、遮挡等不够鲁棒,时间复杂度偏高,很难应用在大规模场景下的精准关键点定位。

发明内容

为了解决现有技术不足,本发明的目的是提供一种基于全局卷积神经网络的关键点定位方法,该方法利用了人脸整体形状信息,把关键点之间位置顺序关系作为约束,加入到卷积神经网络之中,提高了关键点定位的鲁棒性。另外,为了克服大姿态对于人脸定位影响,本发明在第一阶段用多任务卷积神经网络定位关键点,同时考虑姿态估计和关键点定位,提升了在大姿态场景下的关键点定位精度。最后在每个关键点周围提取局部区域,训练精细关键点定位模型。综上所述,相比其他方法,本发明用三阶段卷积神经网络进行关键点定位,对于姿态、遮挡和光照等比较鲁棒,可以更加精准的定位人脸关键点。

根据本发明一方面,提供了一种人脸关键点定位方法,包括如下步骤:

将待检测人脸图像缩放到第一指定分辨率,形成第一缩放待检测人脸图像;

将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中,得到第一关键点定位坐标和第一头部姿态估计值;

将所述待检测人脸图像缩放到第二指定分辨率,得到第二缩放待检测人脸图像,所述第二指定分辨率大于第一指定分辨率;

以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心,提取周围第一预定大小的第一局部区域图像;

将所述第一局部区域图像输入至第二阶段关键点校准模型中,得到第二关键点定位坐标;

将所述待检测人脸图像缩放至第三指定分辨率,得到第三缩放待检测人脸图像,第三指定分辨率大于第二指定分辨率;

以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心,提取周围第二预定大小的第二局部区域图像;

将所述第二局部区域图像输入至第三阶段关键点检测模型中,得到最终的关键点定位坐标;其中,不同关键点对应不同的所述第三阶段关键点检测模型。

其中,所述第一阶段多任务关键点定位模型通过如下方式训练得到:

获取包括人脸图像样本的训练样本集,在人脸图像样本中标定人脸关键点位置和头部姿态信息;

通过人脸检测器获取人脸图像样本中的人脸目标区域,把人脸目标区域缩放到第一指定分辨率,并更新标定的人脸关键点位置;

构建第一阶段多任务深度卷积神经网络;

将人脸图像样本的人脸目标区域作为输入图像输入至第一阶段多任务深度卷积神经网络进行训练,得到第一阶段关键点定位模型。

其中,训练所述第一阶段多任务深度卷积神经网络的目标函数如下表示:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201611135718.7/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top