[发明专利]基于人体骨架和局部图像的工业包装行为识别方法

权利要求书

1.基于人体骨架和局部图像的工业包装行为识别方法，其特征在于包括以下步骤：

步骤(1)、制作带有行为标签的生产视频数据集；

步骤(2)、并利用步骤(1)中视频数据集，使用姿态估计算法模型AlphaPose对视频集中的工人进行骨架提取，获取骨架数据集；

步骤(3)、利用步骤(2)制作的骨架数据集，对图卷积网络(DGNN)进行训练，以实现识别工人的生产行为；

步骤(4)、利用步骤(2)得到的骨架数据集，根据骨骼关节中手腕的位置对步骤(1)视频数据集中的原始图像进行裁剪，得到局部图像数据集与局部图像视频数据集，并分别进行行为标签标注；

步骤(5)、构建融合注意力机制模块的分类网络A-ResNet，利用步骤(4)得到的局部图像数据集对网络进行训练；

所述的A-ResNet分类网络是在ResNet18网络的基础上添加两个通道注意力机制模块；第一个通道注意力机制模块放置在ResNet18网络第一个卷积层之后，第二个通道注意力机制模块放置在ResNet18网络最后一层卷积层之后；

步骤(6)、使用步骤(5)获得的A-ResNet分类网络，删除最后的全连接层，然后作为特征提取器；将该特征提取器与长短期记忆网络模型LSTM连接，构建基于人体骨架和局部图像的识别模型；并利用步骤(4)得到的局部图像视频数据集对LSTM网络进行训练；

步骤(7)、利用训练好的基于人体骨架和局部图像的识别模型，用于识别工人是否成功完成装箱。

2.根据权利要求1所述的基于人体骨架和局部图像的工业包装行为识别方法，其特征在于步骤(1)行为标签主要分为五种：全部抓取、部分抓取1、部分抓取2、伪装抓取、其它动作。

3.根据权利要求1所述的基于人体骨架和局部图像的工业包装行为识别方法，其特征在于步骤(2)具体工作如下：

(2.1)将视频数据集中每个数据的所有帧转化为序列化的视频帧；

(2.2)对这些视频帧进行缩放处理，得到视频帧集合v＝{I₁，I₂，...I_t，...，I_n}，其中I_t代表处于t时刻的帧，n代表这个视频片段的总帧数；

(2.3)把这些视频帧输入至AlphaPose模型进行前向传播，获得一系列骨架序列；

(2.4)按照上述的视频数据集的划分，将骨架序列制作为骨架数据集，并对其进行行为标签的分类标注，行为标签分为抓取、其他动作，其中抓取包括视频数据集行为标签的全部抓取、部分抓取1、部分抓取2与伪装抓取；骨架数据集中一个骨架序列长度为对应视频的总帧数；

(2.5)重复步骤(2.1)至(2.4)，将所有的视频数据集制作为骨架数据集。

4.根据权利要求1所述的基于人体骨架和局部图像的工业包装行为识别方法，其特征在于步骤(4)具体工作如下：

(4.1)根据步骤(2)得到的骨架数据集，获得工人左右手腕关节点在原始图像中的对应坐标(x₀，y₀)；

(4.2)以坐标(x₀，y₀)为中心点，裁剪原始图像，得到包含左右手的局部图像；

(4.3)分别制作局部图像数据集与局部图像视频数据集，局部图像数据集的类别标签标注分为三类：配件A、配件B和其他；局部图像视频数据集与步骤(1)制作的视频数据集相对应，其中每一个数据的视频帧数量为步骤(1)制作的视频数据集的2倍，局部图像视频数据集的类别标签标注分为四类：配件A、配件B、配件A和配件B、其他。

5.根据权利要求1所述的基于人体骨架和局部图像的工业包装行为识别方法，其特征在于步骤(5)A-ResNet分类网络中通道注意力机制模块包括两个分支和一个融合模块，特征矩阵的通道数为m；

第一个分支包括依次级联的平均池化层、卷积层、激活函数层、卷积层；

第二个分支包括依次级联的最大池化层、卷积层、激活函数层、卷积层；

融合模块将两个分支输出融合相加，输入至Sigmoid层，再输入至下一层。