[发明专利]动作识别方法和装置

说明书

本申请公开了动作识别方法和装置，涉及计算机技术领域。该方法包括：获取视频片段，并确定视频片段中的至少两个目标对象；针对至少两个目标对象中的每一个目标对象，连接该目标对象在视频片段的各个视频帧中的位置，构建该目标对象的时空图；将针对至少两个目标对象构建的至少两个时空图划分为多个时空图子集，并从多个时空图子集中确定出终选子集；将终选子集所包含的时空图之间的关系所指示的、目标对象之间的动作类别确定为视频片段所包含的动作的动作类别。采用该方法可以提高识别动作的准确性。

技术领域

本公开涉及计算机技术领域，具体涉及动作识别方法和装置。

背景技术

通过识别视频中的检测对象所发生的动作，有利于对视频进行分类或识别视频的特征等。现有的识别视频中的检测对象所发生的动作的方法，是采用基于深度学习方法训练的识别模型识别视频中的动作，或者是基于视频画面出现的动作的特征、与预设特征之间的相似度，识别视频中的动作。

然而，现有的识别视频中的动作的方法存在识别不准确的问题。

发明内容

本公开提供了一种动作识别方法、装置、电子设备以及计算机可读存储介质。

根据本公开的第一方面，提供了一种动作识别方法，包括：获取视频片段，并确定视频片段中的至少两个目标对象；针对至少两个目标对象中的每一个目标对象，连接该目标对象在视频片段的各个视频帧中的位置，构建该目标对象的时空图；将针对至少两个目标对象构建的至少两个时空图划分为多个时空图子集，并从多个时空图子集中确定出终选子集；将终选子集所包含的时空图之间的关系所指示的、目标对象之间的动作类别确定为视频片段所包含的动作的动作类别。

在一些实施例中，目标对象在视频片段的各个视频帧中的位置基于以下方法确定：获取目标对象在视频片段的起始帧中的位置，将起始帧作为当前帧，并通过多轮迭代操作确定目标对象在各个视频帧中的位置；迭代操作包括：将当前帧输入预先训练完成的预测模型，以预测目标对象在当前帧的下一帧中的位置，响应于确定当前帧的下一帧不是视频片段的终止帧，将本轮迭代操作中的当前帧的下一帧作为下一轮迭代操作的当前帧；响应于确定当前帧的下一帧是视频片段的终止帧，停止迭代操作。

在一些实施例中，连接该目标对象在视频片段的各个视频帧中的位置，包括：将目标对象在各个视频帧中以矩形框的形式表示；将各个视频帧中的矩形框依照各个视频帧的播放顺序进行连接。

在一些实施例中，将针对至少两个目标对象构建的至少两个时空图划分为多个时空图子集，包括：将至少两个时空图中、相邻的时空图划分为同一个时空图子集。

在一些实施例中，获取视频片段，包括：获取视频，并将视频截取为各个视频片段；方法包括：将相邻视频片段中，同一个目标对象的时空图划分为同一个时空图子集。

在一些实施例中，从多个时空图子集中确定出终选子集，包括：从多个时空图子集中确定出多个目标子集；基于多个时空图子集中的每一个时空图子集、与多个目标子集中每一个目标子集之间的相似度，从多个目标子集中确定出终选子集。

在一些实施例中，方法包括：获取时空图子集中、每一个时空图的特征向量；获取时空图子集中、多个时空图之间的关系特征；从多个时空图子集中确定出多个目标子集，包括：基于时空图子集所包含的时空图的特征向量、以及所包含的时空图之间的关系特征，并利用高斯混合模型对多个时空图子集进行聚类，以及确定出用于表征每一类时空图子集的至少一个目标子集。

在一些实施例中，获取时空图子集中、每一个时空图的特征向量，包括：采用卷积神经网络获取时空图的空间特征、以及视觉特征。

在一些实施例中，获取时空图子集中、多个时空图之间的关系特征，包括：针对多个时空图中的每两个时空图，根据该两个时空图的视觉特征，确定该两个时空图之间的相似度；根据该两个特征图的空间特征，确定该两个时空图之间的位置变化特征。