[发明专利]基于人体骨架和局部图像的工业包装行为识别方法

说明书

本发明公开基于人体骨架和局部图像的工业包装行为识别方法。首先使用AlphaPose对监控画面中的工人进行骨架提取，获得含有多个连续骨架信息的骨架序列，再将骨架序列数据输入至DGNN预测当前工人的行为，同时根据AlphaPose估计的骨骼关节中手腕的位置对原图进行裁剪并得到两个局部图像，并分别将对应数量的左右手的局部图像输入至A‑ResNet来获取特征矩阵，再分别将对应数量左右手的特征矩阵输入至LSTM进行分类。根据DGNN和LSTM的结果来判定两种不同的配件是否都已装箱成功。本发明解决了工业生产包装过程中装箱动作识别困难的问题，利用了局部图像视频，能够准确识别工人的生产行为。

技术领域

本发明属于行为识别领域，特别是涉及基于人体骨架和局部图像的工业包装行为识别方法。

背景技术

随着国家大力倡导制造业智能化，许多大型工厂开始由传统制造向智能制造转型，视频监控是其中的必不可少的一部分，通过对车间的实时监控，收集生产数据，从而可以分析车间内的各种生产活动，以确保员工安全，防止生产步骤错误，提高生产效率。

近年来深度学习迅猛发展，目前已成功应用于计算机视觉，包括图像分类、对象检测和姿态估计等。行为识别是视频分析和智能监控领域的一项基本任务，作用是从视频中检测出正在发生的行为。由于深度学习的发展，它取得了极大的进展。当前主流的模型有基于双流网络的行为识别模型(Two-Stream CNN)和基于3D卷积神经网络是行为识别模型以及基于人体骨架的动作识别模型等。许多研究人员开始尝试如何在工业领域应用这些技术，来统计生产信息，以提高生产水平，促进产业发展。

但由于一些工厂环境复杂，现有的模型无法直接应用至某一特定生产场景，并且现有的公开数据集大多不是基于工业场景，工业数据集缺乏，采集数据集相对困难，导致想要训练一个准确度较高的模型尤为困难，且容易过拟合。而且在视频处理实际上计算效率很低最后，工业实际生产过程中往往由于遮挡、光线变化等原因，导致模型无法很好地识别出生产行为。且对于一些特殊的生产场景，现有主流模型无法做出准确的预测。

在某工厂的一个抽油烟机填料组装线中，工人需放置两种不同的配件(连接管道和纸箱工具，)到抽油烟机包装箱中，但工人在抓取过程中，经常会漏放某个配件，即进行伪装抓取(有抓取的动作却未放置配件)在这种场景下，现有的主流模型大多只能识别出工人的抓取动作，但无法识别出两个配件是否都放置成功，导致模型识别的准确度不高。

发明内容

本发明针对目前的技术的不足，提出一种称为基于人体骨架和局部图像的工业包装行为识别方法。

本发明方法的大体思想是：

首先使用姿态估计算法模型AlphaPose对监控画面中的工人进行骨架提取，获得含有多个连续骨架信息的骨架序列，再将骨架序列数据输入至一个有向图神经网络(DGNN)来预测当前工人的行为，同时根据AlphaPose估计的骨骼关节中手腕的位置对原图进行裁剪并得到两个局部图像(左手腕周围以及右手腕周围)，并分别将对应数量的左右手的局部图像输入至一个融合注意力机制模块的分类网络A-ResNet来获取特征矩阵，再分别将对应数量左右手的特征矩阵输入至长短期记忆网络模型LSTM进行分类。根据DGNN和LSTM的结果来判定两种不同的配件是否都已装箱成功。

本发明方法的具体步骤是：

步骤(1)将从实际生产场景中获取大量生产视频，将这些视频制作为视频数据集。

步骤(2)利用步骤(1)中视频数据集，使用姿态估计算法模型AlphaPose对视频集中的工人进行骨架提取，获取骨架数据集。

步骤(3)利用步骤(2)制作的骨架数据集，对图卷积网络(DGNN)进行训练，使其能够准确地识别工人的生产行为。

步骤(4)根据步骤(2)得到的骨架数据，对骨骼关节中手腕的位置对原视频流中的每帧图像进行裁剪，得到局部图像视频数据集与局部图像数据集。