[发明专利]一种基于选择性超图卷积网络的骨架动作识别方法

说明书

本发明提出了一种基于选择性超图卷积网络的骨架动作识别方法；通过设计一个全新的选择性超图卷积网络，在选择性超图卷积网络中适应性地提取骨架中的多尺度信息和选择性地聚合时序关键帧特征；在选择性超图卷积网络中主要表现为：将骨架表示成超图结构来建模关节点之间的高阶关系而不破外固有的空间位置属性；采用尺度选择超图卷积来充分提取多尺度信息和选择性融合多个尺度的特征；以及采用帧选择时间卷积来代替传统的步长时间卷积，根据帧的重要性自适应地选择关键帧和过滤冗余帧。从而实现了对节点间的高阶关系的重视处理、对多尺度信息的充分融合以及在减少冗余的过程中对关键帧信息进行筛选保留，从而实现了更高效且更高精度的骨架动作识别。

技术领域

本发明属于计算机视觉人工智能识别技术领域，具体地说，涉及一种基于选择性超图卷积网络的骨架动作识别方法。

背景技术

现如今，骨架动作识别在计算机的很多视觉领域都吸引了越来越多的注意力，比如智能监控，人机交互，视频理解以及虚拟现实等等。在这个识别任务中，使用的数据是骨架数据，即一系列人体关节点3D坐标。骨架数据在动作识别中相较于RGB动作识别具有很好的鲁棒性和灵活性。因为在RGB动作识别中，动作的分类过程容易受到视频图片帧中背景的干扰，从而在一定程度上降低识别准确率。

而骨架动作识别是很容易从3D传感器还有现在成熟的姿态估计算法中获取的，因为其只含有人体关键点坐标，过滤了背景噪声，从而具有很好的鲁棒性。另外骨架数据相比于视频数据，其数据规模要小很多，因此使用骨架数据可以减少模型计算负荷，从而提高模型计算效率。以上是骨架动作识别的优势。

随着深度学习的发展，在骨架动作识别里面主要有三类方法：基于CNN网络的，基于RNN网络的以及基于GNN网络的。

在之前，大部分方法习惯将骨架数据即一个人体关节点坐标序列通过编码表示成图像，然后利用基于CNN网络或者RNN网络的方法进一步提取动作特征。基于人体物理结构，骨架序列是可以很自然地的表示为一张图，但是这些方法将骨架序列表示为的图像却是不自然的。这同样也是后来的基于GNN网络的模型所采取的数据表示形式，即将人体关节点作为点，将基于身体物理连接的bone线条作为边，建立图。这样就可以利用强大的图神经网络来更好地融合骨架信息，来促进识别性能。在基于GNN网络的方法中，GCN网络被频繁使用，GCN网络可以看作CNN网络在非欧式空间数据上的推广，非常适合在像图一样的拓扑结构上提取信息。

在现有众多方法中，在时空图卷积网络中很早就运用了GCN网络；接着，在STGCN网络中，采用了将3D骨架数据以解耦的方式，先将骨架数据通过2D图卷积去提取空间关节信息，随后利用1D时间卷积去提取时序信息，取得了比较好的性能和效率。接着，到了2s-AGCN中，发现还存在长范围信息没有被很好提取的问题。于是受非局部网络的启发，进一步加入了自适应图卷积模块，同时又利用了双流架构，在之后的MS-AAGCN网络中采用了多条分支，并且引入注意力来进一步使识别的性能得到了提升。

然而，上述的这些方法依旧存在下列三个共性问题：

（1）它们受限地将人体骨架表示成了一个树状结构并表示成一个简单图，而忽视去建模节点间的高阶关系；

（2）它们通常关注于单一的关节尺度信息而缺乏多尺度上下文信息（比如部位尺度和身体尺度），另外，多尺度信息的提取不够充分，多尺度信息的融合不够灵活；

（3）步长时间卷积经常被用于聚合时间信息和减少时序冗余，但是它是基于间隔采样的，很容易过滤掉想要保留的关键帧。

发明内容