[发明专利]一种基于注意力机制的轻量级移位图卷积行为识别方法

说明书

本发明公开了一种基于注意力机制的轻量级移位图卷积行为识别方法，包括，对数据集进行预处理，生成关节点信息流数据集、骨长信息流数据集、基于运动信息的关节点信息流数据集和基于运动信息的骨长信息流数据集；构建ALS‑GCN网络，并通ALS‑GCN网络获得信息流的时空间特征；融合信息流的时空间特征，获得行为识别结果；本发明通过构建基于注意力机制的空间移位模块的方式，解决了感受野过小的问题；同时通过构建时间移位模块的方式，解决了非线性堆叠的方式造成的参数量过高的问题，能够在较少计算量的情况下，达到较高的识别精度。

技术领域

本发明涉及的技术领域，尤其涉及一种基于注意力机制的轻量级移位图卷积行为识别方法。

背景技术

行为识别是人工智能领域的重要研究方向之一，在视频监督，智能监控和人机交互等方向有着重要的应用。行为识别同时也是一项具有挑战性的任务，不仅因为处理视频片段所需的计算要求更高，而且易受外界环境因素的影响。这导致了基于RGB视频的行为识别方法往往难以同时满足时效性和准确度的要求。最近几年，得益于深度相机的发展与普及，例如，Microsoft Kinetic，基于深度信息的行为识别逐渐成为了该领域的重要研究方向之一。与传统的RGB数据相比，骨架序列因为不包含颜色信息，所以具有简洁、易校准、不易受外观因素影响的特点。

早期的基于人体骨架的行为识别方法主要通过手工设计特征的方式来对行为进行表征，但是，由于手工提取的特征往往表征能力有限并且需要耗费大量精力用于调参优化。

目前主流的基于骨架行为识别的方法虽然在表征时间信息方面优势明显，可以从不同时间区间提取多尺度的特定局部模式，但都存在一定的问题，例如优化难度高、易丢失原始的关节点信息、存在参数量过于庞大，对计算要求过高的问题。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种基于注意力机制的轻量级移位图卷积行为识别方法，能够解决感受野过小的问题和非线性堆叠的方式造成的参数量过高的问题。

为解决上述技术问题，本发明提供如下技术方案：包括，对数据集进行预处理，生成关节点信息流数据集、骨长信息流数据集、基于运动信息的关节点信息流数据集和基于运动信息的骨长信息流数据集；构建ALS-GCN网络，并通过所述ALS-GCN网络获得信息流的时空间特征；融合所述信息流的时空间特征，获得行为识别结果。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案，其中：所述预处理包括，剔除误检的摄像头数据；定义评判骨架序列能量的指标，剔除误检的关节点数据；归一化关节点坐标数据；归一化视角。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案，其中：还包括，通过卷积神经网络对所述关节点信息流数据集、骨长信息流数据集、基于运动信息的关节点信息流数据集和基于运动信息的骨长信息流数据集进行特征提取，获得关节点信息流、骨长信息流、运动信息流和基于运动信息的骨长信息流。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案，其中：所述ALS-GCN网络包括空间移位模块和时间移位模块；所述空间移位模块包括空间注意力模块和通道注意力模块；通过设定自适应的时序shift图卷积和增加短连接，优化所述时间移位模块。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案，其中：所述骨长信息流包括，定义离骨架重心较近的关节为源关节，离重心较远的关节为目标关节；t帧中的源关节为：