[发明专利]人脸跟踪方法、电子设备及存储介质在审
| 申请号: | 202310480952.7 | 申请日: | 2023-04-27 |
| 公开(公告)号: | CN116363734A | 公开(公告)日: | 2023-06-30 |
| 发明(设计)人: | 吉祥 | 申请(专利权)人: | 深圳市即构科技有限公司;抖动科技(深圳)有限公司 |
| 主分类号: | G06V40/16 | 分类号: | G06V40/16;G06T5/00;G06T5/20;G06V10/80;G06N3/0464;G06N3/08 |
| 代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 林丽纯 |
| 地址: | 518000 广东省深圳市南山区南头街*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 跟踪 方法 电子设备 存储 介质 | ||
1.一种人脸跟踪方法,其特征在于,所述人脸跟踪方法包括:
从视频流的任一帧图像中截取出人脸图像;
计算所述人脸图像与标准人脸图像的相似变换矩阵;
基于所述相似变换矩阵,对所述任一帧图像进行对齐处理,得到对齐图像;
若所述对齐图像中包含人脸信息,根据所述对齐图像及所述相似变换矩阵,确定所述任一帧图像的目标关键点坐标;
对所述目标关键点坐标进行滤波转换处理,得到所述任一帧图像在所述视频流中的下一帧图像的预测人脸坐标。
2.如权利要求1所述的人脸跟踪方法,其特征在于,所述从视频流的任一帧图像中截取出人脸图像包括:
基于预先训练的人脸检测模型对所述任一帧图像进行检测,确定检测位置;
基于所述检测位置,识别所述任一帧图像中的第一人脸检测框的原始尺寸;
基于第一预设比例对所述原始尺寸进行调整,得到目标尺寸;
根据所述目标尺寸与所述原始尺寸的尺寸差值、以及所述检测位置,识别目标位置;
从所述任一帧图像中截取与所述目标位置对应的区域作为所述人脸图像。
3.如权利要求2所述的人脸跟踪方法,其特征在于,所述尺寸差值包括高度差值及宽度差值,所述目标位置包括多个目标点,所述根据所述目标尺寸与所述原始尺寸的尺寸差值、以及所述检测位置,识别目标位置包括:
从所述第一人脸检测框中确定具有最小横坐标值及最小纵坐标值坐标点作为第一坐标点,并确定具有最大横坐标值及最大纵坐标值的坐标点作为第二坐标点,第一坐标点包括第一横坐标值及第一纵坐标值,第二坐标点包括第二横坐标值及第二纵坐标值;
计算所述宽度差值与预设数值的宽度比值,并计算所述高度差值与所述预设数值的高度比值;
根据所述第一横坐标值与所述宽度比值的差值、所述第一纵坐标值与所述高度比值的差值生成与所述第一坐标点对应的目标点,并根据所述第二横坐标值与所述宽度比值的总和、所述第二纵坐标值与所述高度比值的总和生成与所述第二坐标点对应的目标点。
4.如权利要求1所述的人脸跟踪方法,其特征在于,所述计算所述人脸图像与标准人脸图像的相似变换矩阵包括:
基于预先训练的第一人脸关键点检测模型对所述人脸图像进行检测,得到第一关键点坐标;
根据所述第一关键点坐标及所述标准人脸图像的标准人脸坐标,生成所述相似变换矩阵。
5.如权利要求4所述的人脸跟踪方法,其特征在于,在根据所述对齐图像及所述相似变换矩阵,确定所述任一帧图像的目标关键点坐标之前,所述方法还包括:
从所述第一关键点检测模型中提取判别网络;
基于获取到的训练图像对所述判别网络进行参数调整,得到人脸判别模型;
基于所述人脸判别模型对所述对齐图像进行判别,得到判别结果。
6.如权利要求1所述的人脸跟踪方法,其特征在于,所述根据所述对齐图像及所述相似变换矩阵,确定所述任一帧图像的目标关键点坐标包括:
获取所述相似变换矩阵的逆矩阵;
基于预先训练的第二人脸关键点检测模型对所述对齐图像进行检测,得到多个第二关键点坐标;
将所述多个第二关键点坐标转换为坐标矩阵;
根据所述逆矩阵对所述坐标矩阵进行转换,得到所述目标关键点坐标。
7.如权利要求1所述的人脸跟踪方法,其特征在于,所述对所述目标关键点坐标进行滤波转换处理,得到所述任一帧图像在所述视频流中的下一帧图像的预测人脸坐标包括:
利用预设窗口对多个所述目标关键点坐标对应的关键点进行滑动处理,得到多个关键点窗口;
根据每个关键点窗口的关键点数量,对所述多个关键点窗口进行滤波处理,得到与所述多个目标关键点坐标对应的多个滤波坐标;
根据所述多个滤波坐标定位所述任一帧图像的第二人脸检测框;
基于第二预设比例及所述第二人脸检测框生成所述下一帧图像的预测检测框,并从所述预测检测框中确定出所述预测人脸坐标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市即构科技有限公司;抖动科技(深圳)有限公司,未经深圳市即构科技有限公司;抖动科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310480952.7/1.html,转载请声明来源钻瓜专利网。





