[发明专利]基于时间注意力机制和LSTM的人体行为识别方法

权利要求书

1.基于时间注意力机制和LSTM的人体行为识别方法，其特征在于，包括以下步骤：

1)获取RGB单目视觉传感器的视频数据；

2)提取2D骨架关节点数据，包括以下步骤：

2.1)将视频根据每10秒的时长进行分段处理；

2.2)输入图像之后，将图像尺寸长宽指定为368*368；

2.3)调用OpenPose框架，将指定尺寸的图片输入CNN网络提取part confidence maps和part affinity fields；

2.4)建立一个列表，用于存储从图片中检测到的18个关节点；

2.5)采用偶匹配求出part association，将关节点连接起来形成人体关节的整体骨架；

3)提取关节点联合结构特征，包括以下步骤：

3.1)定义所获取的2维骨架关节点坐标为：

p_i(x,y)

3.2)定义所提取的二维骨架关节点集合为向量J，J表示如下：

J＝{p₁,p₂,...,p₁₈}

3.3)将两个关节点之间骨骼向量进行归一化处理，归一化向量计算如下：

其中，p_i和p_j表示相邻的两个关节点，||p_i-p_j||为两点之间的欧氏距离，计算如下：

3.4)计算骨骼向量特征，即将相邻关节点连接而成骨骼向量，分别选择上肢四组和下肢四组作为本实施方式的骨骼向量，根据关节点定义规则，骨骼向量特征集合S定义为：

S＝{B_2,3,B_3,4,B_5,6,B_6,7,B_8,9,B_9,10,B_11,12,B_12,13}

3.5)计算骨骼角度特征，采用左腕、左肩与分别左臀部的夹角，右腕、右肩与右臀部的夹角作为骨骼空间夹角，定义关节点p_i和p_j为三维空间中在XY平面投影所在的夹角θ为：

骨骼角度特征集合θ定义为：

θ＝(θ_4,8,θ_2,8,θ_5,11,θ_7,11)

3.6)计算骨骼长度特征，选择骨骼长度作为偏置来描述人体骨架的整体性差异，采用脊柱向量，即左臀部、右臀部两个节点和颈部节点之间的距离作为骨骼长度特征，骨骼长度特征D集合定义为：

D＝D_1,8+D_1,11

其中，设关节点i与关节点j相连；

D_ij＝||p_i-p_j||

3.7)计算骨架关节点联合结构特征，将骨骼向量特征、骨骼角度特征和骨骼长度特征进行线性拼接，形成骨架关节点的联合结构特征，表示为：

Feature＝{S,θ,D}

4)构建LSTM长短期记忆网络；

5)在LSTM网络中加入时间注意力机制；

6)利用softmax分类器进行人体行为识别。

2.根据权利要求1所述的基于时间注意力机制和LSTM的人体行为识别方法，其特征在于，在步骤1)中，获取RGB单目视觉传感器的视频数据，包括以下步骤：

1.1)将RGB单目视觉传感器安装于监控区域，实时获取数据；

1.2)将服务器连接到前端编解码器，通过流媒体协议下载实时视频数据；

1.3)采用iSCSI的IP连接模式，将获取的视频传输到服务器的存储设备进行存储；

1.4)对采集的视频数据进行预处理，并将数据送到关节点提取模块进行处理。