[发明专利]一种毫米波雷达和视频辅助的室内跌倒检测方法及装置

权利要求书

1.一种毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，包括：

S1：使用毫米波雷达对被监护对象进行监测，获取毫米波雷达的采样数据，并存储于雷达采样数据矩阵中；

S2：基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式，逐帧构建微多普勒谱图，其中，RDM为距离多普勒图；

S3：从微多普勒图中提取躯干微多普勒特征矢量；

S4：从微多普勒图中提取肢体微多普勒特征矢量；

S5：将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量，通过采集不同时间的人体状态特征矢量，组成人体状态随时间变化的序列；

S6：利用循环神经网络RNN对人体状态随时间变化的序列进行二分类，得到分类结果，分类结果为有摔倒动作和没有摔倒动作；

S7：当分类结果为有摔倒动作时，则对室内画面进行录像识别，定位到图像中的人体区域，提取人体关节点位置，将关节点连线绘制人体姿势图；

S8：根据绘制的人体姿势图进一步判断是否跌倒，如果判断跌倒，则将跌倒情况及视频画面传送给监护人；如果判断没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

2.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S1包括：

通过毫米波雷达发射天线向外发射主信号，经过被监护对象产生反射信号，根据多普勒效应观测到多普勒频移，采集主信号与反射信号的差拍信号；

根据预设信号模型将差拍信号描述为雷达采样数据矩阵Y，包含该雷达于单帧状况下的采样数据。

3.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S2包括：

对雷达采样数据矩阵，在快时间维上的所有列数据加上汉宁窗，执行Range FFT，然后在慢时间维上的所有行数据加上汉宁窗后执行Doppler FFT，并将零频分量搬至频谱中心，得到相应的RDM，其中，RDM用以描述对应帧下所有人体散射点的距离、速度相关信息，RangeFFT为距离快速傅里叶变换，Doppler FFT为多普勒快速傅里叶变换；

针对单个人体目标进行研究，将所得每帧下的RDM向距离维投影并按列逐帧积累得到单目标运动轨迹图，其中，单目标运动轨迹图的横轴表示对应的帧标号，纵轴表示其距离门标号对应的目标距离雷达的径向距离；

从单目标运动轨迹图中得到人体目标在运动中距离雷达的最小/最大径向距离所对应的距离门标号，根据距离门标号提取目标运动范围内的RDM，并进一步将提取的RDM向速度维投影并按列逐帧积累，得到目标运动产生的微多普勒谱图，其中，微多普勒谱图的横轴代表对应的帧号，纵轴表示其速度门标号对应的速度值，速度值的正值表示远离雷达，负值表示接近雷达。

4.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S3包括：

从微多普勒图中获取躯干微多普勒曲线，用速度质心序列对该躯干微多普勒曲线进行描述，将速度质心序列作为从谱图中所提取的躯干微多普勒特征矢量。

5.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S4包括：

从微多普勒图中获取肢体微多普勒曲线，提取得到肢体微多普勒特征矢量。

6.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S6包括：

将得到人体状态随时间变化的序列划分为训练集和测试集；

利用RNN，将训练集中的每一个人体状态作为隐状态，将摔倒动作设置为正类，其他动作设置为负类，对RNN进行有监督分类训练，得到训练好的RNN模型；

利用训练好的RNN模型对待处理序列进行分类。

7.如权利要求6所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，所述方法还包括，在有监督分类训练时采用贝叶斯超参数调整来选择最优超参数。