[发明专利]基于无线信号的人体姿势成像方法及装置有效

申请号：	202011544374.1	申请日：	2020-12-23
公开（公告）号：	CN112597896B	公开（公告）日：	2022-09-09
发明（设计）人：	陈彦;俞聪;张冬;孙启彬;陆军	申请（专利权）人：	中国科学技术大学
主分类号：	G06F3/00	分类号：	G06F3/00
代理公司：	中科专利商标代理有限责任公司 11021	代理人：	王江选
地址：	230026 安***	国省代码：	安徽;34
权利要求书：	查看更多	说明书：	查看更多
摘要：
搜索关键词：	基于无线信号人体姿势成像方法装置
钻瓜网技术展会专利词库专利权人专利榜在售专利公布日期热门专利

【说明书】：

一种基于无线信号的人体姿势成像方法，包括以下步骤：设计人工神经网络W将无线信号z回归至人体关键点的坐标值：根据所述人体关键点的坐标值绘制姿势热力图h：设计生成器网络G和判别器网络D以构造图像合成的对抗学习模型；其中所述生成器网络G包括编码器、一系列的条件残差块和解码器；将摄像机捕捉到的初始时刻图像输入所述编码器，利用注意力操作PA将姿势热力图和初始图像特征结合并嵌入到条件残差块的输入层中，输出是结合了初始图像特征和姿势热力图的融合特征；将结合了初始图像特征和姿势热力图的融合特征输入至所述解码器得到目标人体姿势图像。

技术领域

本发明涉及无线感知与计算机视觉的交叉领域，具体涉及一种基于无线信号的人体姿势成像方法及装置。

背景技术

在社会安防领域，基于光学的摄像机是重要的监控设备。然而，其往往无法拍摄到被遮挡的物体或人物，考虑到无线设备发射的信号(雷达或WiFi信号等)具有良好的穿墙性能，如何通过无线信号辅助摄像机合成光学图像进行目标监控具有重要的实际意义。同时，近年来，建立用于感知和理解人类活动的无线电传感系统取得了众多进展。通过分析从人体反射的无线电信号，已设计出各种系统来跟踪人体的位置，动作和生命体征。然而，现有方法仅能粗略地估计人体的活动信息，无法合成像素级的光学图像。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于无线信号的人体姿势成像方法及装置，以期部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一方面，提供了一种基于无线信号的人体姿势成像方法，包括以下步骤：

设计人工神经网络W将无线信号z回归至人体关键点的坐标值：

根据所述人体关键点的坐标值绘制姿势热力图h：

设计生成器网络G和判别器网络D以构造图像合成的对抗学习模型；其中所述生成器网络G包括编码器、一系列的条件残差块和解码器；

将摄像机捕捉到的初始时刻图像输入所述编码器，利用注意力操作PA将姿势热力图和初始图像特征结合并嵌入到条件残差块的输入层中，输出是结合了初始图像特征和姿势热力图的融合特征；

将结合了初始图像特征和姿势热力图的融合特征输入至所述解码器得到目标人体姿势图像。

其中，所述设计人工神经网络W将无线信号z回归至人体关键点的坐标值表示为：

其中，所述人工神经网络W的损失函数如下：

其中，表示人工神经网络W预测的关键点坐标，p_i表示真实的关键点坐标，K表示关键点的数量。

其中，所述姿势热力图其中g(·)表示高斯核函数。