[发明专利]用于人体动作识别的特征提取系统和方法

说明书

用于人体动作识别的特征提取系统，包括如下功能模块：数据扩增模块、动作编码模块、前置任务模块：该模块由空间前置任务子模块和时间前置任务子模块构成和对比学习模块；用于人体动作识别的特征提取方法，包括如下操作步骤：(1)模型训练步骤；(2)特征提取步骤；本发明将前置学习功能和对比学习功能有机结合，使系统能够从未标注的人体骨架序列中，充分提取人体动作特征，并且保留了细粒度时空信息，提高了后续人体动作识别的准确率。

技术领域

本发明涉及用于人体动作识别的特征提取系统和方法，属于信息技术领域，特别是属于基于人体骨架的动作特征提取技术领域。

背景技术

人体动作识别是计算机视觉领域的一个很重要的问题，在视频理解、视频监控、人机交互等领域有重要意义。由于人体骨架关节点具有数据量小、有效并且具有背景不变性等特征，基于人体骨架关节点的动作识别引起了广泛的关注。

虽然目前基于人体骨架关节点的动作识别已经有了很多进展，但是现有方法大多依赖于大量的标注好的训练数据，因此需要很强的监督信息。但是标注训练数据困难且耗费巨大，同时也会面临着由于许多动作的相似性所造成的标注不确定性，以及误标的情况。

因此，如何从未标注的训练数据中，进行人体动作特征的有效提取，成为目前基于人体骨架关节点的动作识别技术领域的一个急需解决的技术难题。

发明内容

有鉴于此，本发明的目的是发明一种系统和方法，采用无监督的方式，从人体骨架序列中，进行人体动作特征的提取，并尽可能保留动作特征的细粒度时空信息，以提高后续人体动作识别的准确率。

为了达到上述目的，本发明提出了用于人体动作识别的特征提取系统，所述系统包括如下功能模块：

数据扩增模块：在模型训练阶段，该模块的功能是：首先对原始骨架序列进行采样，然后对采样所获得的采样骨架序列进行空间扩增操作，获得空间扩增骨架序列；所述的空间扩增操作包括旋转，切变以及关节点随机扰动；对采样所获得的骨架序列进行时间扩增操作，获得时间扩增骨架序列；所述的时间扩增操作是指对所述的采样骨架序列进行掩码操作；

在特征提取阶段，该模块的功能是仅对原始骨架序列进行采样，获得采样骨架序列；

动作编码模块：在模型训练阶段，该模块的功能是对所述数据扩增模块所获得的空间扩增骨架序列和时间扩增骨架序列，分别进行编码，获得空间扩增初始动作编码和时间扩增初始动作编码；在特征提取阶段，该模块的功能是对所述数据扩增模块所获得的采样骨架序列进行编码，获得初始动作编码；

前置任务模块：该模块由空间前置任务子模块和时间前置任务子模块构成；

空间前置任务子模块的功能是：为获取更细粒度的空间信息，把从动作编码模块所获得的空间扩增初始动作编码中的前一半通道数的空间扩增初始动作编码，输入到空间前置任务子模块，生成空间扩增增强动作编码；所述的空间扩增增强动作编码是前述的采样骨架序列的重建序列，与所述的采样骨架序列有相同的帧数和格式；通过上述过程，使得所述的动作编码模块可以更好的更细粒度地提取到采样骨架序列的空间特征信息；

时间前置任务子模块的功能是：为获取更细粒度的时间信息，把从动作编码模块所获得的时间扩增初始动作编码中的后一半通道数的时间扩增初始动作编码，输入到时间前置任务子模块，生成时间扩增增强动作编码；所述的时间扩增增强动作编码是前述的采样骨架序列的重建序列，与所述的采样骨架序列有相同的帧数和格式；通过上述过程，使得所述的动作编码模块可以更好的更细粒度地提取到采样骨架序列的时间特征信息；

对比学习模块：该模块的功能是：基于对比学习网络，根据前置任务模块所产生的空间扩增增强动作编码和时间扩增增强动作编码，进行动作特征提取。