[发明专利]一种基于Wi-Fi信号的人体关键点检测方法及系统

说明书

本发明公开了一种基于Wi‑Fi信号的人体关键点检测方法及系统，记录Wi‑Fi信号发射端和Wi‑Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；利用采集的视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi‑Fi Transformer模型进行训练，当Wi‑Fi Transformer模型收敛后保存；将待检测的Wi‑Fi数据输入训练好的Wi‑Fi Transformer模型中，输出人体关键点数据。本发明采用Wi‑Fi Transformer模型对人体关键点进行检测，简单、快速、精准；不会暴露人脸等敏感隐私，能够用于日常生活和健康医疗领域。

技术领域

本发明属于物联网人工智能技术领域，具体涉及一种基于Wi-Fi信号的人体关键点检测方法及系统。

背景技术

人体关键点检测可被用于智能家庭中的动作识别、人机交互、健康看护等任务。现有的人体关键点检测技术主要是基于摄像头，多用在虚拟现实游戏之类的应用场景中。而在游戏之外的家庭场景，用户对隐私的保护意识和要求较强，基于摄像头的技术便不再适合。

除此之外，诸如针对老人在洗澡或卧室时的摔倒检测任务，基于摄像头的技术更是会给用户带来极大的隐私泄露担忧，更加不适合。因此，隐私友好的人体关键点检测方法具有较大的社会需求。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于Wi-Fi信号的人体关键点检测方法及系统，能够嵌入到家用Wi-Fi路由器中，无需额外硬件成本，支持人机交互、摔倒检测、入侵检测等多种上游任务。

本发明采用以下技术方案：

一种基于Wi-Fi信号的人体关键点检测方法，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；利用视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi-FiTransformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。

具体的，每次存入CSI数据时，同时存储每个CSI数据的UNIX时间戳；对于视频数据，利用OpenCV调用摄像头，并用videoCapture()函数逐帧存储视频数据，同时存下每个视频数据的UNIX时间戳。

进一步的，设置CSI数据的采样率为20Hz，当记录t秒后，CSI数据的维度为30x9x20xt；摄像头的采样率设置为20帧每秒。

具体的，利用视频数据对CSI数据进行跨模态间接标注具体为：

S301、筛选视频数据，并同步记录UNIX时间戳，同步CSI数据和视频数据，并一一对应，得到数据集{W^t,V^t|t＝1,..,N}，t表示采样时刻，N表示筛选出的视频数据的总帧数，W^t和V^t表示t时刻一组同步的CSI数据和视频数据；

S302、利用计算机视觉领域的开源算法逐帧处理数据集{W^t,V^t|t＝1,..,N}，得到人体关键点在图形坐标系中的二维坐标，将每帧获得的人体关键点的二维坐标作为同步对应的CSI数据的标注。

进一步的，步骤S301中，利用选出的视频时间戳作为基准，与记录的CSI时间戳对齐，根据对齐后的CSI时间戳，选出对应同步的CSI数据。

进一步的，步骤S302中，选择MPII-15作为参考，标注人体关键点。

具体的，对Wi-Fi Transformer模型进行训练具体为：