[发明专利]一种基于改进ResNet与Bi-LSTM的行为识别方法

权利要求书

1.一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：包括下列步骤：

S100、标签处理：对UTKinectAction3D数据集的标签：走路、坐下、站起、捡起、抬起、扔、推、拉、挥手和拍手十类数据进行One-Hot格式转换；

S200、数据预处理：对数据集分为训练集、验证集与训练集三部分；

S300、模型构建：将网络分为5个ResNet1模块、Bi-LSTM网络、ResNet2模块、全连接网络四个部分；

S400、网络训练：对搭建好的网络使用训练集进行训练，完成参数模型的训练；

S500、网络验证：证验证网络损失值不再下降；

S600、模型评价：使用训练好的网络对测试集数据进行识别，计算准确率与召回率对网络识别效果进行评价。

2.根据权利要求1所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S100标签处理中，将其下标index分别为0-9，对数据标签进行转换。

3.根据权利要求2所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S200数据预处理中，将人体20个关节、持续120帧的三通道数据以7：1：2的比例划分为数据训练集、验证集与测试集。

4.根据权利要求3所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S300模型构建中，采用卷积层-Average池化层-BatchNormalization层-激活层-卷积层-Max池化层-BatchNormalization层-激活层顺序组合方式组合5个包含两个卷积层、两个池化层、两个BatchNormalization层与两个激活层构成的ResNet模块构成ResNet1层。

5.根据权利要求4所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S300模型构建中，采用一个前向LSTM与一个反向LSTM进行组合构建的双向LSTM网络构成Bi-LSTM层，每个LSTM Cell设置包含遗忘门、输入门与输出门3个门控单元，前向LSTM对特征进行顺向处理，反向LSTM对特征进行逆向处理，再使用ADD方式对两个方向的LSTM提取到的特征进行结合。

6.根据权利要求5所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S300模型构建中，采用卷积层-BatchNormalization层-激活层-卷积层-Max池化层-BatchNormalization层-激活层-顺序组合方式组合3个ResNet模块构成ResNet2层。

7.根据权利要求6所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S300模型构建中，全连接层为3层全连接，加入系数为0.5的DropOut防止过拟合发生，对全连接计算得到的结果使用Sigmoid进行输出，

8.根据权利要求7所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S400网络训练中，采用Adam作为优化器，初始学习率为0.01，每100个epoch学习率衰减50％，batchsize大小为64，使用softmax_cross_entropy作为损失函数，设定训练800个epoch，连续20个epoch模型损失值无下降则停止训练，保存模型。

9.根据权利要求8所述的一种基于改进ResNet与Bi-LSTM的行为识别方法，其特征在于：所述S500网络验证中，使用验证集数据对训练的到的数据模型进行200个epoch的二次训练，若模型损失无下降，保存模型；若模型损失降低，将学习率设置为原来的0.5倍，使用训练集数据继续对模型进行训练，直到模型损失稳定。