[发明专利]一种基于时序特征的人体摔倒检测方法及系统

权利要求书

1.一种基于时序特征的人体摔倒检测方法，其特征在于，包括：

获取视频样本；

将视频样本进行逐帧分解对比，提取手臂的角度时序特征和头部骨骼点的熵的时序特征；

将手臂的角度时序特征和头部骨骼点的熵的时序特征输入预建立的神经网络中，得到包含异常帧信息的第一输出张量与第二输出张量，将第一输出张量与第二输出张量进行信息融合后得到特征张量；

将特征张量输入由全连接层和Sigmoid函数组成的分类器进行分类，所述分类器预先进行过训练，输出异常帧中人体摔倒与非摔倒的概率，其中概率高的为检测结果。

2.根据权利要求1所述的一种基于时序特征的人体摔倒检测方法，其特征在于，将视频样本进行逐帧分解对比，包括：

通过光流场的变化获取人体运动区域，实现人体动态跟踪，通过OpenPose算法获取视频样本中手臂骨骼点坐标，通过手臂骨骼点坐标计算得到手臂的角度特征，所述手臂的角度特征为上下臂的角度特征，将视频样本中每一帧手臂的角度特征与前一帧做对比，得到手臂的角度时序特征。

3.根据权利要求1所述的一种基于时序特征的人体摔倒检测方法，其特征在于，将视频样本进行逐帧分解对比，还包括：

通过光流场的变化获取人体运动区域，实现人体动态跟踪，通过OpenPose算法获取视频样本中头部骨骼点坐标，计算得到头部骨骼点的运动方向和幅值，再计算得到运动方向的熵和幅值的熵，运动方向的熵和幅值的熵相乘得到头部骨骼点的熵，将视频样本中每一帧头部骨骼点的熵与前一帧做对比，得到头部骨骼点的熵的时序特征。

4.根据权利要求1所述的一种基于时序特征的人体摔倒检测方法，其特征在于，还包括对视频样本进行预处理的步骤：

将视频样本中的RGB通道的图像转化为HSL通道的图像，以解决因光照不稳定对光流场造成的影响，所述转化通过如下公式进行：

其中，H、S、L分别对应色调、饱和度和明度，R、G、B分别对应红、绿和蓝的亮度，arccos表示反余弦函数，min表示返回给定参数表中的最小值。

5.根据权利要求1所述的一种基于时序特征的人体摔倒检测方法，其特征在于，所述特征张量通过如下方法得到：

将手臂的角度时序特征和头部骨骼点的熵的时序特征输入预建立的神经网络中，所述神经网络包括基于LSTM的角度时序特征注意力模块和熵的时序特征注意力模块，手臂的角度时序特征和头部骨骼点的熵的时序特征分别输入角度时序特征注意力模块和熵的时序特征注意力模块中，得到包含异常帧信息的第一输出张量与第二输出张量，利用Concat函数将第一输出张量和第二输出张量融合成特征张量。

6.根据权利要求1所述的一种基于时序特征的人体摔倒检测方法，其特征在于，所述分类器预先通过二分类交叉熵损失函数进行过训练，所述二分类交叉熵损失函数为：

其中，Z为二分类交叉熵损失，N为样本数，a表示计数器，a＝1表示从第1个样本开始计数，为样本的标签，正类为1，负类为0，y_a为预测为正的概率。

7.根据权利要求2所述的一种基于时序特征的人体摔倒检测方法，其特征在于，利用OpenCV中的calcOpticalFlowFarneBack算子计算两帧之间光流场的变化，根据光流场的变化获取运动区域，实现人体动态跟踪。

8.一种基于时序特征的人体摔倒检测系统，其特征在于，包括：

输入模块：用于获取视频样本；

时序特征提取模块：用于将视频样本进行逐帧分解对比，提取手臂的角度时序特征和头部骨骼点的熵的时序特征；

特征张量输出模块：用于将手臂的角度时序特征和头部骨骼点的熵的时序特征输入预建立的神经网络中，得到包含异常帧信息的第一输出张量与第二输出张量，将第一输出张量与第二输出张量进行信息融合后得到特征张量；

检测结果分类模块：用于将特征张量输入由全连接层和Sigmoid函数组成的分类器进行分类，所述分类器预先进行过训练，输出异常帧中人体摔倒与非摔倒的概率，其中概率高的为检测结果。