[发明专利]一种小样本视频动作分析方法、系统及装置

权利要求书

1.一种小样本视频动作分析方法，其步骤包括：

输入查询视频帧和支持视频帧，通过降维操作输出特征图；

将特征图输入到由时间注意力模块和空间注意力模块构成的神经网络中进行训练；

将训练后的查询视频帧与支持视频帧在时空对齐模块中进行匹配，分析小样本视频中的动作特征信息。

2.根据权利要求1所述的一种小样本视频动作分析方法，其特征在于，所述神经网络包括3个阶段，每个阶段有8层，每层包括3个时间注意力模块和3个空间注意力模块。

3.根据权利要求2所述的一种小样本视频动作分析方法，其特征在于，所述神经网络的3个阶段之间通过连接模块连接；所述神经网络通过Norm层连接所述时空对齐模块。

4.根据权利要求3所述的一种小样本视频动作分析方法，其特征在于，所述时间注意力模块中，通过计算相同位置不同帧之间的注意力，捕获帧之间的时间依赖信息。

5.根据权利要求3或4所述的一种小样本视频动作分析方法，其特征在于，所述空间注意力模块中，通过计算相同帧不同位置的注意力，捕获相同帧之间的空间依赖信息。

6.根据权利要求5所述的一种小样本视频动作分析方法，其特征在于，在所述神经网络中，通过缩小搜索空间范围，加速网络训练。

7.根据权利要求6所述的一种小样本视频动作分析方法，其特征在于，所述缩小搜索空间范围的步骤为：

从定义的所有的操作数当中采用均匀采样方式选择一组子网络进行训练；

在超级网络训练期间，每P次迭代就对所有的操作数做一次分数统计，分数计算公式为：

其中，S(i,j)表示第i层第j个操作数的得分，O_i,j表示第i层第j个操作数，N_s表示超级网络，a表示超级网络的子网络，W表示权重，Ea表示对子网络a的统计结果取平均值，U(A)表示搜索空间中所有的模型集合，D_tr表示训练集，L_CE表示交叉熵损失函数，L_CE的计算公式为：

其中，W_a表示子网络a的权重，N_A表示超级网络的transformer搜索空间，D_train表示训练集；

对每个操作数的得分进行排序，将K％的分数低的操作数删除，保留分数高即表现好的操作数；

下一个迭代期间，将从剩余的操作数当中采用均匀采样方式选择一组子网络进行训练。

8.根据权利要求7所述的一种小样本视频动作分析方法，其特征在于，所述查询视频帧与支持视频帧在时空对齐模块中进行匹配，计算每一个查询视频帧到支持视频帧之间的距离，计算公式为：

a(x_q，x_s)＝softmax[f(x_q)f^T(x_s)]

其中，a(x_q,x_s)表示视频帧级别的注意力，f(x_q)表示查询视频帧的嵌入向量，f^T(x_s)表示支持视频帧转置的嵌入向量，通过该注意力，对嵌入向量进一步地计算：

其中，f(x_s)表示支持视频帧的嵌入向量，表示时间对齐的支持视频帧的表征；

计算查询视频帧和支持视频帧对应的嵌入向量的距离，计算公式为：

其中，表示嵌入向量之间的距离，T表示视频的长度，C_o表示特征维度。