[发明专利]一种小样本视频动作分析方法、系统及装置

说明书

本发明公开了一种小样本视频动作分析方法、系统及装置，属于神经架构搜索领域。针对现有技术中存在的在小样本视频动作分析过程中，视频稀疏采样帧不足可能会限制长期时间模型的容量以及采样帧数量的增加会导致组合和匹配策略复杂等问题，本发明提供的一种小样本视频动作分析方法、系统及装置，输入查询视频帧和支持视频帧，通过降维操作输出特征图，将特征图输入到由时间注意力模块和空间注意力模块构成的神经网络中进行训练，将训练后的查询视频帧与支持视频帧在时空对齐模块中进行匹配，分析小样本视频中的动作特征信息，从而可以有效增强对小样本视频中运动信息的捕捉能力，显著提高小样本视频动作识别的精度。

技术领域

本发明涉及神经架构搜索领域，更具体地说，涉及一种小样本视频动作分析方法、系统及装置。

背景技术

在视频理解中最重要的任务之一就是理解人的行为，这也是视频理解的代表性任务之一。近年来，随着高质量大规模视频数据集的出现，视频理解和动作识别取得了显著的进展。然而，这种成功很大程度上依赖于大量人工标记的样本。数据集标注过程繁琐、耗时，限制了算法的实际应用。因此，如何对标注样本极少的非常见动作类进行分类引起了广泛的研究。与图像任务相比，引入时间维使得视频任务更加复杂。例如，视频中的动作通常以不同的速度执行，发生在不同的时间点。此外，动作识别通常需要整合多个不同的子动作信息，生成相应的时间表征，用于后续的时空特征匹配。

针对小样本视频动作分类问题，现有技术中，大多采用基于度量的元学习框架实现查询视频与支持视频之间的相似度比较，其方法是通过表示学习将输入视频映射到一个嵌入空间，然后实现距离度量来比较片段任务中的视频相似性。虽然这一方法通过情景训练来学习骨干网络或时间关系模块，但是却忽视了时空表示的重要性，而时空表示对于小样本视频动作分类的基本概念至关重要，由此，需要设计一款由时间注意力模块和空间注意力模块构成的网络架构对小样本视频动作进行分析。

发明内容

1.要解决的技术问题

针对现有技术中存在的在小样本视频动作分析过程中，视频稀疏采样帧不足可能会限制长期时间模型的容量以及采样帧数量的增加会导致组合和匹配策略的复杂性等问题，本发明提供了一种小样本视频动作分析方法、系统及装置，可以有效增强对小样本视频中运动信息的捕捉能力，显著提高小样本视频动作识别的精度。

2.技术方案

本发明的目的通过以下技术方案实现。

一种小样本视频动作分析方法，其步骤包括：

输入查询视频帧和支持视频帧，通过降维操作输出特征图；

将特征图输入到由时间注意力模块和空间注意力模块构成的神经网络中进行训练；

将训练后的查询视频帧与支持视频帧在时空对齐模块中进行匹配，分析小样本视频中的动作特征信息。

进一步地，所述神经网络包括3个阶段，每个阶段有8层，每层包括3个时间注意力模块和3个空间注意力模块。

进一步地，所述神经网络的3个阶段之间通过连接模块连接；所述神经网络通过Norm层连接所述时空对齐模块。

进一步地，所述时间注意力模块中，通过计算相同位置不同帧之间的注意力，捕获帧之间的时间依赖信息。

进一步地，所述空间注意力模块中，通过计算相同帧不同位置的注意力，捕获相同帧之间的空间依赖信息。

进一步地，在所述神经网络中，通过缩小搜索空间范围，加速网络训练。

进一步地，所述缩小搜索空间范围的步骤为：

从定义的所有的操作数当中采用均匀采样方式选择一组子网络进行训练；

在超级网络训练期间，每P次迭代就对所有的操作数做一次分数统计，分数计算公式为：