[发明专利]一种基于Wi-Fi信号的人体关键点检测方法及系统

权利要求书

1.一种基于Wi-Fi信号的人体关键点检测方法，其特征在于，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；利用视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据；

利用视频数据对CSI数据进行跨模态间接标注具体为：

筛选视频数据，并同步记录UNIX时间戳，同步CSI数据和视频数据，并一一对应，得到数据集{W^t，V^t|t＝1，..，N}，t表示采样时刻，N表示筛选出的视频数据的总帧数，W^t和V^t表示t时刻一组同步的CSI数据和视频数据；利用计算机视觉领域的开源算法逐帧处理数据集{W^t，V^t|t＝1，..，N}，得到人体关键点在图形坐标系中的二维坐标，将每帧获得的人体关键点的二维坐标作为同步对应的CSI数据的标注；

对Wi-Fi Transformer模型进行训练具体为：

将得到的CSI数据和对应的人体二维坐标输入Wi-Fi Transformer模型；将Wi-FiTransformer模型的输入单元中维度为9x30的切片按列展开为1x270的一维数组，并与同样维度为1x270的位置编码相加，输入Wi-Fi Transformer模型的Encoder模块，位置编码采用sincos编码方式，相加之后，每个输入单元的数据维度为1x270，经过两个MLP层，将1x270回归为1x30的向量，再充展为2x15的矩阵；以得到的2x15的矩阵作为预测值，由于输入为500毫秒内的CSI数据，设定对应的人体关键点真实值为最后一帧产生的标注，根据标注的人体关键点的二维坐标，维度为2x15，采用L1损失函数训练Wi-Fi Transformer模型。

2.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，每次存入CSI数据时，同时存储每个CSI数据的UNIX时间戳；对于视频数据，利用OpenCV调用摄像头，并用VideoCapture()函数逐帧存储视频数据，同时存下每个视频数据的UNIX时间戳。

3.根据权利要求2所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，设置CSI数据的采样率为20Hz，当记录t秒后，CSI数据的维度为30x9x20xt；摄像头的采样率设置为20帧每秒。

4.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，利用视频数据对CSI数据进行跨模态间接标注中，利用选出的视频时间戳作为基准，与记录的CSI时间戳对齐，根据对齐后的CSI时间戳，选出对应同步的CSI数据。

5.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，利用视频数据对CSI数据进行跨模态间接标注中，选择MPII-15作为参考，标注人体关键点。

6.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，对Wi-FiTransformer模型进行训练中，采用经典构建方式构建Encoder模块，Encoder模块共叠加L次，L为大于1的整数。

7.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，对Wi-FiTransformer模型进行训练中，L2损失函数Loss具体为：

其中，N为mini批处理的大小；i为批次中某个数据对应的序号；P_i和GT_i分别表示人体关键点坐标的预测值和标注值。

8.一种基于Wi-Fi信号的人体关键点检测系统，其特征在于，包括：

采集模块，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；

标注模块，利用采集的视频数据对CSI数据进行跨模态间接标注；

训练模块，将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存，筛选视频数据，并同步记录UNIX时间戳，同步CSI数据和视频数据，并一一对应，得到数据集{W^t，V^t|t＝1，..，N}，t表示采样时刻，N表示筛选出的视频数据的总帧数，W^t和V^t表示t时刻一组同步的CSI数据和视频数据；利用计算机视觉领域的开源算法逐帧处理数据集{W^t，V^t|t＝1，..，N}，得到人体关键点在图形坐标系中的二维坐标，将每帧获得的人体关键点的二维坐标作为同步对应的CSI数据的标注；

检测模块，将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据；将得到的CSI数据和对应的人体二维坐标输入Wi-Fi Transformer模型；将Wi-Fi Transformer模型的输入单元中维度为9x30的切片按列展开为1x270的一维数组，并与同样维度为1x270的位置编码相加，输入Wi-Fi Transformer模型的Encoder模块，位置编码采用sincos编码方式，相加之后，每个输入单元的数据维度为1x270，经过两个MLP层，将1x270回归为1x30的向量，再充展为2x15的矩阵；以得到的2x15的矩阵作为预测值，由于输入为500毫秒内的CSI数据，设定对应的人体关键点真实值为最后一帧产生的标注，根据标注的人体关键点的二维坐标，维度为2x15，采用L1损失函数训练Wi-Fi Transformer模型。