[发明专利]基于点云深度学习的三维人脸扫描特征点检测方法和装置在审
申请号: | 202110304030.1 | 申请日: | 2021-03-22 |
公开(公告)号: | CN112883920A | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 徐枫;冯铖锃 | 申请(专利权)人: | 清华大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N3/04;G06N3/08;G06T17/00 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 韩海花 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 深度 学习 三维 扫描 特征 检测 方法 装置 | ||
1.一种基于点云深度学习的三维人脸扫描特征点检测方法,其特征在于,包括以下步骤:
将人脸扫描渲染成多视角的图像;
在每张图像上计算每个像素的人脸解析特征;
对所述多视角图像的信息进行融合,确定每个顶点的人脸解析特征;
利用点云深度学习网络获取所述每个特征点对应的热度图;
根据所述热度图计算所述每个特征点的位置。
2.如权利要求1所述的方法,其特征在于,所述将人脸扫描渲染成多视角的图像,包括:
在人脸的多个视角渲染图像。
3.如权利要求1所述的方法,其特征在于,所述对所述多视角的图像融合,确定每个顶点的人脸解析特征,包括:
获取每个顶点在各个视角的图像中对应像素的目标人脸解析特征;
获取每个顶点在各个视角图像中正对相机的角度;
根据所述角度,确定所述对应的目标图像的权值;
对所述每个顶点在各个视角图像上获取的人脸解析特征和对应的权值加权求和,得到所述每个顶点的人脸解析特征。
4.如权利要求1所述的方法,其特征在于,所述利用点云深度学习网络获取所述每个特征点对应的热度图,包括:
将所述每个顶点的三维坐标以及人脸解析特征输入所述点云深度学习网络,获取所述每个特征点对应的热度图。
5.如权利要求1所述的方法,其特征在于,所述根据所述热度图计算所述每个特征点的位置,对于任意一个特征点,包括:
获取特征点对应热度图中每个顶点的热度值;
对所有顶点坐标根据热度大小加权求和,求和结果即为特征点的最终位置。
6.一种基于点云深度学习的三维人脸扫描特征点检测装置,其特征在于,包括:
渲染模块,用于将人脸扫描渲染成多视角的图像;
第一计算模块,用于在每张图像上计算每个像素的人脸解析特征;
确定模块,用于对所述多视角图像的信息进行融合,确定每个顶点的人脸解析特征;
获取模块,用于利用点云深度学习网络获取所述每个特征点对应的热度图;
第二计算模块,用于根据所述热度图计算所述每个特征点的位置。
7.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-5中任一所述的方法。
8.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
9.一种计算机程序产品,其特征在于,当所述计算机程序产品中的指令由处理器执行时,实现如权利要求1-5中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110304030.1/1.html,转载请声明来源钻瓜专利网。