[发明专利]人头姿态识别、模型构建方法、装置、设备及存储介质在审
申请号: | 202010074231.2 | 申请日: | 2020-01-22 |
公开(公告)号: | CN113158708A | 公开(公告)日: | 2021-07-23 |
发明(设计)人: | 芦爱余 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 王茹 |
地址: | 511495 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人头 姿态 识别 模型 构建 方法 装置 设备 存储 介质 | ||
1.一种人头姿态识别方法,其特征在于,所述方法包括:
获取二维图像;
将所述二维图像输入人头姿态识别模型,识别所述二维图像中的人头特征,并输出所述人头特征的旋转矩阵,所述旋转矩阵用于表征所述人头特征的旋转角度;其中,所述人头姿态识别模型是以至少包括人头的二维图像为样本、所述样本的旋转矩阵为标签训练生成的模型。
2.根据权利要求1所述的人头姿态识别方法,其特征在于,所述人头姿态识别模型包括ResNet残差网络层、反卷积层和积分层;
在所述二维图像输入人头姿态识别模型后得到所述二维图像中的人头特征的旋转矩阵的步骤包括:
利用所述残差网络层对所述二维图像进行人头特征的提取,获取第一尺寸及第一通道数量的网络层;
利用所述反卷积层对所述网络层进行若干次反卷积,获取第二尺寸及第二通道数量的特征层;
将所述特征层模拟成三维立方体,利用所述积分层对所述三维立方体的三个轴向进行积分,以得到所述二维图像中的人头特征的旋转矩阵的三个向量。
3.根据权利要求2所述的人头姿态识别方法,其特征在于,将所述特征层模拟成所述三维立方体的数量为两个,对所述三维立方体的三个轴向进行积分的步骤包括:
对两个所述三维立方体的三个轴向进行积分,得到所述旋转矩阵的第一向量及第二向量;
根据所述第一向量和所述第二向量计算得到所述旋转矩阵的第三向量。
4.根据权利要求2所述的人头姿态识别方法,其特征在于,将所述特征层模拟成所述三维立方体的数量为三个,对所述三维立方体的三个轴向进行积分的步骤包括:
对三个所述三维立方体的三个轴向进行积分,得到所述旋转矩阵的第一向量、第二向量及第三向量。
5.根据权利要求3或4所述的人头姿态识别方法,其特征在于,所述第一向量为人头中心到人头鼻尖的直线向量,所述第二向量为所述人头中心到人头头顶的直线向量。
6.根据权利要求5所述的人头姿态识别方法,其特征在于,所述三维立方体的中心为所述人头中心。
7.根据权利要求2所述的人头姿态识别方法,其特征在于,所述残差网络层为ResNet-34。
8.根据权利要求1所述的人头姿态识别方法,其特征在于,在所述人头姿态识别模型输出所述人头特征的旋转矩阵之后,还包括:
如果所述旋转矩阵超过设定的旋转矩阵范围,输出提醒信号。
9.一种人头姿态识别模型构建方法,其特征在于,所述方法包括:
获取多个至少包括人头的二维图像以及每个所述二维图像对应的旋转矩阵;
以所述二维图像为样本、所述样本的旋转矩阵为标签,对设定的神经网络模型进行训练,构建所述人头姿态识别模型。
10.根据权利要求9所述的人头姿态识别模型构建方法,其特征在于,所述设定的神经网络模型包括ResNet残差网络层、反卷积层和积分层;
对所述设定的神经网络模型进行训练的步骤包括:
利用所述残差网络层对所述样本进行人头特征的提取,获取第一尺寸及第一通道数量的网络层;
利用所述反卷积层对所述网络层进行若干次反卷积,获取第二尺寸及第二通道数量的特征层;
将所述特征层模拟成三维立方体,利用所述积分层对所述三维立方体的三个轴向进行积分,以得到所述二维图像样本中的人头特征的旋转矩阵的预测结果;
利用损失函数获取所述预测结果和对应的所述标签之间的损失值,基于所述损失值对所述设定的神经网络模型进行训练。
11.根据权利要求10所述的人头姿态识别模型构建方法,其特征在于,所述损失函数为L1loss。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010074231.2/1.html,转载请声明来源钻瓜专利网。