[发明专利]针对遮挡情况的彩色图像手部姿态估计方法有效
申请号: | 201911132726.X | 申请日: | 2019-11-19 |
公开(公告)号: | CN111027407B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 王雁刚;张宝文 | 申请(专利权)人: | 东南大学 |
主分类号: | G06V40/20 | 分类号: | G06V40/20;G06V10/82;G06N3/0464 |
代理公司: | 南京经纬专利商标代理有限公司 32200 | 代理人: | 徐莹 |
地址: | 210096 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 针对 遮挡 情况 彩色 图像 姿态 估计 方法 | ||
本发明公开了一种针对遮挡情况的彩色图像手部姿态估计方法,包括:使用参数化模型生成手部姿;生成每个关键点对应的热图,并随机选取部分热图置零;将关键点热图输入关键点编码器中,得到卷积特征图并输入到关键点解码器,对关键点解码器输出监督;将数据集中的彩色图像输入图像编码器,并仅对可见关键点的位置进行标注和生成热图,不可见关键点的热图置零输入关键点编码器;使用关键点编码器的输出监督图像编码器的输出,将待测的彩色图像输入图像编码器,输出得到卷积特征图并输入到关键点解码器中,得到图像中手部关键点热图,使用NMS算法得到手部关键点位置。本发明可同时预测可见关键点与被遮挡关键点,可应用于需要检测手部关键位置的场合。
技术领域
本发明涉及针对遮挡情况的彩色图像手部姿态估计方法,属于计算机视觉的技术领域。
背景技术
实时手部姿态估计估计是关节检测领域中的重要问题,它也是很多实际应用中的重要步骤,例如人机交互、虚拟现实、增强现实等。随着近些年来深度神经网络的发展,越来越多的研究者试图从彩色图像中估计手部姿态。即使这样,由于图像表现内容的歧义、手部自遮挡以及手部运动的灵活性,手部姿态估计问题仍然存在很多挑战。
到目前为止,手部姿态估计已经取得了很多的研究成果。由于被遮挡的关键点在数据集中难以标注,标注被遮挡手部关键点的数据集十分有限。对于部分手部关键点遮挡的情况,神经网络很难对遮挡的关键点位置进行预测。
发明内容
本发明所要解决的技术问题在于,在训练数据集仅标注可见关键点的情况下,训练出可以同时检测被遮挡和未遮挡手部关键点的神经网络,提供一种针对遮挡情况的彩色图像手部姿态估计方法。
本发明具体采用以下技术方案解决上述技术问题:
针对遮挡情况的彩色图像手部姿态估计方法,包括以下步骤:
步骤1、使用参数化模型生成手部姿态,以得到用于训练的二维手部关键点位置;
步骤2、根据二维手部关键点位置生成每个关键点对应的热图,并随机选取部分关键点对应的热图置零;
步骤3、将包含置零热图的所有关键点热图输入关键点编码器中,得到卷积特征图;
步骤4、将关键点编码器输出的卷积特征图输入到关键点解码器中,以使用关键点对应的热图对关键点解码器输出进行监督,迭代更新关键点编码器与关键点解码器的神经网络参数;
步骤5、将数据集中的彩色图像输入图像编码器,并仅对可见关键点的位置进行标注;
步骤6、将彩色图像标注的可见关键点标注生成热图,将彩色图像中不可见关键点的热图置零,一并输入关键点编码器,输出得到对应的高维空间特征图;
步骤7、使用关键点编码器输出的高维空间特征图监督图像编码器的输出,在图像编码器的输出与关键点编码器的输出之间计算损失,迭代更新图像编码器的神经网络参数;
步骤8、将待测的彩色图像输入步骤7经监督后的图像编码器,输出得到待测的彩色图像的卷积特征图;
步骤9、将待测的彩色图像的卷积特征图输入到关键点解码器中,解码得到待测的彩色图像中手部关键点的热图;
步骤10、对待测的彩色图像中手部关键点的热图使用非极大值抑制NMS算法,得到手部关键点位置。
进一步地,作为本发明的一种优选技术方案:所述步骤1中参数化模型使用MANO模型,通过在一定范围内随机对其形状参数与姿态参数赋值,从而随机生成手部姿态。
进一步地,作为本发明的一种优选技术方案:所述步骤7中使用L2损失作为计算损失函数,通过链式法则计算出神经网络中训练参数对于损失的梯度,并根据梯度对神经网络参数进行更新。
本发明采用上述技术方案,能产生如下技术效果:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东南大学,未经东南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911132726.X/2.html,转载请声明来源钻瓜专利网。
- 上一篇:单根闭合环链电动葫芦装置以及升降方法
- 下一篇:吸油烟罩