[发明专利]基于无线信号的人体姿势成像方法及装置有效
申请号: | 202011544374.1 | 申请日: | 2020-12-23 |
公开(公告)号: | CN112597896B | 公开(公告)日: | 2022-09-09 |
发明(设计)人: | 陈彦;俞聪;张冬;孙启彬;陆军 | 申请(专利权)人: | 中国科学技术大学 |
主分类号: | G06F3/00 | 分类号: | G06F3/00 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 王江选 |
地址: | 230026 安*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 无线 信号 人体 姿势 成像 方法 装置 | ||
1.一种基于无线信号的人体姿势成像方法,其特征在于,包括以下步骤:
设计人工神经网络W将无线信号z回归至人体关键点的坐标值;
所述设计人工神经网络W将无线信号z回归至人体关键点的坐标值表示为:
所述人工神经网络W的损失函数如下:
其中,表示人工神经网络W预测的关键点坐标,pi表示真实的关键点坐标,K表示关键点的数量;根据所述人体关键点的坐标值绘制姿势热力图h;
所述姿势热力图其中g(·)表示高斯核函数;
设计生成器网络G和判别器网络D以构造图像合成的对抗学习模型;其中所述生成器网络G包括编码器、一系列的条件残差块和解码器;
所述生成器网络G的损失函数为:
LG=LLSG+λ2LL2;
其中,λ2为平衡各损失函数的超参数;
所述判别器网络D的损失函数为:
LD=LLSD+λ1LGP;
其中,λ1为平衡各损失函数的超参数;xf为模型合成的图像;xr为真实的图像;
将摄像机捕捉到的初始时刻图像输入所述编码器,利用注意力操作PA将姿势热力图和初始图像特征结合并嵌入到条件残差块的输入层中,输出是结合了初始图像特征和姿势热力图的融合特征;
所述注意力操作PA定义如下:
PA[fi(xin),h]=fi(xin)+α·h·fi(xin);
其中,xin为初始时刻的图像,fi(xin)表示输入到第i个条件残差块的图像特征,α为超参数,用来调节注意力强度的大小,h为姿势热力图;
将结合了初始图像特征和姿势热力图的融合特征输入至所述解码器得到目标人体姿势图像。
2.一种基于无线信号的人体姿势成像装置,用于执行权利要求1所述的人体姿势成像方法,其特征在于,包括:
关键点获取模块,设计人工神经网络W将无线信号z回归至人体关键点的坐标值;
所述设计人工神经网络W将无线信号z回归至人体关键点的坐标值表示为:
所述人工神经网络W的损失函数如下:
其中,表示人工神经网络W预测的关键点坐标,pi表示真实的关键点坐标,K表示关键点的数量;根据所述人体关键点的坐标值绘制姿势热力图h;
热力图获取模块,根据所述人体关键点的坐标值绘制姿势热力图h;
所述姿势热力图其中g(·)表示高斯核函数;
生成器网络模块,设计生成器网络G和判别器网络D以构造图像合成的对抗学习模型;
其中,所述生成器网络G的损失函数为:
LG=LLSG+λ2LL2;
其中,λ2为平衡各损失函数的超参数;
所述判别器网络D的损失函数为:
LD=LLSD+λ1LGP;
其中,λ1为平衡各损失函数的超参数;xf为模型合成的图像;xr为真实的图像;
其中所述生成器网络G包括编码器、一系列的条件残差块和解码器;将摄像机捕捉到的初始时刻图像输入所述编码器,利用注意力操作PA将姿势热力图和初始图像特征结合并嵌入到条件残差块的输入层中,输出是结合了初始图像特征和姿势热力图的融合特征;
所述注意力操作PA定义如下:
PA[fi(xin),h]=fi(xin)+α·h·fi(xin);
其中,xin为初始时刻的图像,fi(xin)表示输入到第i个条件残差块的图像特征,α为超参数,用来调节注意力强度的大小,h为姿势热力图;
将结合了初始图像特征和姿势热力图的融合特征输入至所述解码器得到目标人体姿势图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学技术大学,未经中国科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011544374.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种食用奶片加工装置
- 下一篇:一种采用水性涂料对实木进行高透级涂装的方法