[发明专利]一种基于改进ResNet与Bi-LSTM的行为识别方法

说明书

本发明属于应用图像行为识别技术领域，具体涉及一种基于改进ResNet与Bi‑LSTM的行为识别方法，包括如下步骤：标签处理、数据预处理、模型构建、网络训练、网络验证、模型评价，所述标签处理对UTKinectAction3D数据集的标签：走路、坐下、站起、捡起、抬起、扔、推、拉、挥手和拍手十类数据进行One‑Hot格式转换；所述数据预处理对数据集分为训练集、验证集与训练集三部分；所述模型构建将网络分为5个ResNet1模块、Bi‑LSTM网络、ResNet2模块、全连接网络四个部分；所述网络训练对搭建好的网络使用训练集进行训练，完成参数模型的训练；所述网络验证验证网络损失值不再下降；所述模型评价使用训练好的网络对测试集数据进行识别，计算准确率与召回率对网络识别效果进行评价。

技术领域

本发明属于应用图像行为识别技术领域，具体涉及一种基于改进ResNet与Bi-LSTM的行为识别方法。

背景技术

目前传统行为识别方法依赖人工特征工程,对于复杂条件下的数据如遮挡、背景杂乱、阴影光照差异等环境因素都会给图像特征提取带来困难,且二维图像数据处理方法无法很好的对3D数据进行有效的联合识别,导致识别效果较差。

存在问题或缺陷的原因：目前现有方式依赖人工对特征进行选取，智能化程度低，且方法的泛化性能及鲁棒性较弱，无法对3D数据进行有效分析，识别效果较差。

发明内容

针对上述方法传统行为识别方法智能化程度低、方法的泛化性能及鲁棒性较弱等问题，本发明提供了一种更好的对数据特征进行提取，对人体行为进行更好识别的方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于改进ResNet与Bi-LSTM的行为识别方法，包括下列步骤：

S100、标签处理：对UTKinectAction3D数据集的标签：走路、坐下、站起、捡起、抬起、扔、推、拉、挥手和拍手十类数据进行One-Hot格式转换；

S200、数据预处理：对数据集分为训练集、验证集与训练集三部分；

S300、模型构建：将网络分为5个ResNet1模块、Bi-LSTM网络、ResNet2模块、全连接网络四个部分；

S400、网络训练：对搭建好的网络使用训练集进行训练，完成参数模型的训练；

S500、网络验证：证验证网络损失值不再下降；

S600、模型评价：使用训练好的网络对测试集数据进行识别，计算准确率与召回率对网络识别效果进行评价。

所述标签处理中，将其下标index分别为0-9，对数据标签进行转换。

所述数据预处理中，将人体20个关节、持续120帧的三通道数据以7：1：2的比例划分为数据训练集、验证集与测试集。

所述模型构建中，采用卷积层-Average池化层-BatchNormalization层-激活层-卷积层-Max池化层-BatchNormalization层-激活层顺序组合方式组合5个包含两个卷积层、两个池化层、两个BatchNormalization层与两个激活层构成的ResNet模块构成ResNet1层。

所述模型构建中，采用一个前向LSTM与一个反向LSTM进行组合构建的双向LSTM网络构成Bi-LSTM层，每个LSTM Cell设置包含遗忘门、输入门与输出门3个门控单元，前向LSTM对特征进行顺向处理，反向LSTM对特征进行逆向处理，再使用ADD方式对两个方向的LSTM提取到的特征进行结合。

所述模型构建中，采用卷积层-BatchNormalization层-激活层-卷积层-Max池化层-BatchNormalization层-激活层-顺序组合方式组合3个ResNet模块构成ResNet2层。