[发明专利]人体姿态估计方法、装置、设备及存储介质在审
申请号: | 202310701752.X | 申请日: | 2023-06-14 |
公开(公告)号: | CN116434127A | 公开(公告)日: | 2023-07-14 |
发明(设计)人: | 李友高;吴星辰;常沛炜;许朝智 | 申请(专利权)人: | 季华实验室 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06T7/246;G06T7/73;G06V10/44;G06V10/774;G06V10/82;G06V40/10;G06V40/20 |
代理公司: | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人: | 徐凯凯 |
地址: | 528200 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人体 姿态 估计 方法 装置 设备 存储 介质 | ||
本发明涉及人体姿态估计技术领域,尤其涉及人体姿态估计方法、装置、设备及存储介质,所述方法包括:构建轻量级采样模型;获取教学视频,根据教学视频获取多个显示图像,并分别对多个显示图像进行预处理,得到多个特征图,根据预设的比例对多个特征图像进行分配,以生成训练集和测试集;将训练集输入至所构建的轻量级采样模型内,以预设的迭代方式对轻量级采样模型进行迭代训练,得到完成训练的轻量级采样模型;将测试集输入至完成训练的轻量级采样模型中,根据采样结果计算评价指标;本申请公开的方法,通过构建轻量级采样模型对显示图像进行处理,可减少处理过程中的计算量和参数量,确保检测精度的同时,有效提高了处理效率。
技术领域
本发明涉及人体姿态估计技术领域,尤其涉及一种人体姿态估计方法、装置、设备及存储介质。
背景技术
人体姿态估计是研究基于图像的观测数据恢复关节和躯干姿态的算法或系统,是计算机视觉领域最具挑战和研究意义的方向之一;人体姿态准确的自动识别,是人类活动识别、计算行为分析、人的再识别和人机交互等任务的基本步骤;根据人体姿态估计信息的空间维度,可以将人体姿态估计分为二维人体姿态估计和三维人体姿态估计,二维姿态估计算法通过获取二维图像上的人体关键点的位置信息以及肢体的位置和方向信息,最终得到的人体关节点坐标与骨骼信息可直接影响三维人体姿态估计的结果,所以颇具挑战。
人体姿态估计的准确度和快速性直接影响了后续的视频分析系统,现有技术一般采用神经网络分类器实现人体姿态估计,神经网络结构很大程度上影响着人体姿态估计的结果好坏,其强大的学习能力有助于解决图像中背景复杂和人体被遮挡的问题,因此研究人员总致力于设计出更好的网络结构;目前比较流行的网络模型主要是基于ResNet、Hourglass、HRNet和生成对抗网络(GAN)等骨干网络;而现阶段更具优越性的是采用并行融合多分辨率特征方法的HRNet网络。
HRNet网络通过卷积层和池化层的堆叠实现特征的提取,在图像输出网络后卷积层做特征的抽取,而池化做特征的聚合,并且让模型具有一定程度上的平移不变性,以降低后面卷积层的算力,最后到全连接层输出分类结果;然而堆叠就会导致参数和计算量不断增大,即现有的HRNet网络存在计算参数多、计算量大、计算效率低的问题,降低了后续的视频分析系统的反馈速度,影响了用户的使用体验。
可见,现有技术还有待改进和提高。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种人体姿态估计方法、装置、设备及存储介质,具有处理效率高的优点,可实现分析效果的快速反馈,提高用户的使用体验。
本发明第一方面提供了一种人体姿态估计方法,包括:构建轻量级采样模型,所述轻量级采样模型包括空间转置卷积模块、1×1卷积模块和注意力模块;获取教学视频,根据教学视频获取多个显示图像,并分别对多个显示图像进行预处理,得到多个特征图,根据预设的比例对多个特征图像进行分配,以生成训练集和测试集;将训练集输入至所构建的轻量级采样模型内,以预设的迭代方式对轻量级采样模型进行迭代训练,得到完成训练的轻量级采样模型;将测试集输入至完成训练的轻量级采样模型中,根据采样结果计算评价指标。
可选的,在本发明第一方面的第一种实施方式中,所述获取教学视频,根据教学视频获取多个显示图像,并分别对多个显示图像进行预处理,得到多个特征图,根据预设的比例对多个特征图像进行分配,以生成训练集和测试集,具体包括:获取教学视频,采用帧差法从教学视频中提取多个显示图像,并将所提取的显示图像存储在JSON生成的文件中;采用基于轮廓的算法对多个显示图像进行预处理,并将显示图像的尺寸设置为256×256,像素设置为400×400,通过关键点标注方法对显示图像的关节点坐标进行标注,得到多个特征图;根据7:3的比例划分多个特征图,以生成训练集和测试集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于季华实验室,未经季华实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310701752.X/2.html,转载请声明来源钻瓜专利网。
- 上一篇:可学习通用视频编码方法、系统、设备及存储介质
- 下一篇:一种管道分流连接装置