[发明专利]人体姿态估计方法、装置、设备及存储介质在审
申请号: | 202310701752.X | 申请日: | 2023-06-14 |
公开(公告)号: | CN116434127A | 公开(公告)日: | 2023-07-14 |
发明(设计)人: | 李友高;吴星辰;常沛炜;许朝智 | 申请(专利权)人: | 季华实验室 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06T7/246;G06T7/73;G06V10/44;G06V10/774;G06V10/82;G06V40/10;G06V40/20 |
代理公司: | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人: | 徐凯凯 |
地址: | 528200 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人体 姿态 估计 方法 装置 设备 存储 介质 | ||
1.一种人体姿态估计方法,其特征在于,包括:
构建轻量级采样模型,所述轻量级采样模型包括空间转置卷积模块、1×1卷积模块和注意力模块;
获取教学视频,根据教学视频获取多个显示图像,并分别对多个显示图像进行预处理,得到多个特征图,根据预设的比例对多个特征图像进行分配,以生成训练集和测试集;
将训练集输入至所构建的轻量级采样模型内,以预设的迭代方式对轻量级采样模型进行迭代训练,得到完成训练的轻量级采样模型;
将测试集输入至完成训练的轻量级采样模型中,根据采样结果计算评价指标。
2.根据权利要求1所述的一种人体姿态估计方法,其特征在于,所述获取教学视频,根据教学视频获取多个显示图像,并分别对多个显示图像进行预处理,得到多个特征图,根据预设的比例对多个特征图像进行分配,以生成训练集和测试集,具体包括:
获取教学视频,采用帧差法从教学视频中提取多个显示图像,并将所提取的显示图像存储在JSON生成的文件中;
采用基于轮廓的算法对多个显示图像进行预处理,并将显示图像的尺寸设置为256×256,像素设置为400×400,通过关键点标注方法对显示图像的关节点坐标进行标注,得到多个特征图;
根据7:3的比例划分多个特征图,以生成训练集和测试集。
3.根据权利要求1所述的一种人体姿态估计方法,其特征在于,所述将训练集输入至所构建的轻量级采样模型内,具体包括:
获取训练集中的任一特征图输入至所构建的轻量级采样模型内;
1×1卷积模块扩大特征图的通道数,以将低纬度信息转换为高纬度信息;
空间卷积模块对每个通道进行空间转换,以提高特征图的分辨率;
1×1卷积模块将空间转换后的通道恢复至原来的通道数;
注意力模块动态地调整各个通道的权重,以将各通道信息融合,并将特征图压缩回原始维度。
4.根据权利要求3所述的一种人体姿态估计方法,其特征在于,对于输入大小为Cin×Win×Hin的特征图,输出大小为 Cout×Wout×Hout的特征图,所述轻量级采样模型的计算量的计算公式以及参数量的计算公式分别为:
;
;
其中,为高维度特征的通道数,设置;K为转置卷积的核大小。
5.根据权利要求4所述的一种人体姿态估计方法,其特征在于,对于输入的特征图为,通过轻量级采样模型处理后,其输出为:
;
其中,,。
6.根据权利要求1所述的一种人体姿态估计方法,其特征在于,所述以预设的迭代方式对轻量级采样模型进行迭代训练,得到完成训练的轻量级采样模型,具体包括:
采用Adam 优化器以1e-5的学习率对轻量级采样模型进行迭代训练,每次迭代以指数方式衰减;
当达到预设的迭代次数时,停止迭代,并输出完成训练的轻量级采样模型。
7.根据权利要求1所述的一种人体姿态估计方法,其特征在于,所述将测试集输入至完成训练的轻量级采样模型中,根据采样结果计算评价指标,具体包括:
获取测试集并输入至完成训练的轻量级采样模型内,生成采样结果;
根据采样结果计算评价指标,所述评价指标为PCK指标,所述PCK指标对于一个关节点的计算公式如下:
;
其中,表示第k个阈值,p表示第p个人,i表示i第关节点,表示第p个人中第i个关节点预测值与人工标注的欧式距离。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于季华实验室,未经季华实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310701752.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:可学习通用视频编码方法、系统、设备及存储介质
- 下一篇:一种管道分流连接装置