[发明专利]基于多维原型重构增强学习的小样本行为识别方法及系统

权利要求书

1.一种基于多维原型重构增强学习的小样本行为识别方法，其特征在于，包括：

基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征，利用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子，包括针对支持集样本和查询集样本分别构建网络输入，对样本集中每个视频进行分段采样，得到支持集视频表示和查询集视频表示对输入的和分别提取相应空间信息，得到支持集帧级特征和查询集帧级特征使用时序卷积网络TCN基于所述支持集帧级特征和查询集帧级特征获得支持集时序特征和查询集时序特征采用MLP对所述支持集时序特征和查询集时序特征进行压缩，经过softmax后得到支持集时序注意力和查询集时序注意力将支持集时序注意力与相应的时序特征相乘，获得支持集视频描述子将查询集时序注意力与相应的时序特征相乘，获得查询集视频描述子其中为加权求和操作；

基于所述支持集时序特征求解原始时序注意力，在所述支持集时序特征上施加随机打乱重排列操作，得到支持集时序特征的补充特征，计算所述补充特征的打乱时序注意力，对所述打乱时序注意力实施逆操作得到补充时序注意力，计算所述原始时序注意力与补充时序注意力的差值，并将其作为动态时序变换损失用于优化注意力网络；

利用平均法计算所述支持集视频描述子中的每一类视频的类平均原型，并利用重加权相似度注意力分别计算查询集样本和支持集样本与类平均原型的相似度，根据各自对应的相似度对支持集样本和查询集样本重加权，得到两个原型，将两个原型进行加权求和得到交叉增强原型，包括：

支持集视频描述子定义记为X_s，查询集视频描述子记为X_q，则支持集第c类视频描述子可以记为定义三个线性映射函数f_q、f_k、fv：

1)：对施加f_q和f_v函数，得到和相应地，对X_q施加f_q和f_v函数，得到Q_q＝f_q(X_q)＝X_qW_q，V_q＝f_v(X_q)＝X_qW_v；

2)：对第c类原型，遵循原型网络，对c类视频描述子求平均得到基本原型对施加f_k函数得到

3)：利用重加权相似度注意力计算支持集样本与类平均原型相似度其中f_t表示矩阵转置，根据相似度对支持集c类样本重加权得到原型

4)：通过伪标签策略，利用重加权相似度注意力计算Q_q与K^c的相似度其中f_t表示矩阵转置，挑选前k个最大相似度其中topk()用来求输入张量中某个维度的前k大的值以及对应的索引，根据每个伪样本与K^c相似度加权求和得到查询集上的重加权原型

5)：对两个原型根据其对最终原型的贡献度进行加权求和得到交叉增强原型

分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组，通过正负样本的相对距离计算可适应边距，基于上述双三元组和可适应边距设计双三元组可适应损失，增强所述交叉增强原型对不同类别的可鉴别能力，包括：

以查询集中的样本q_i为中心，判断所述交叉增强原型是否与该样本属于同一类，若判断结果为是，则所述交叉增强原型为正原型p_p，反之为负原型p_n，构建包含查询集样本、正原型和负原型元素的查询三元组(q_i，p_n，p_p)；以交叉增强原型p_i为中心，判断所述查询集中的样本是否与该交叉增强原型属于同一类，若判断结果为是，则所述样本为正查询样本q_p，反之为负查询样本q_n，构建包含交叉增强原型、正查询样本和负查询样本元素的原型三元组(p_i，q_n，q_p)，基于两种三元组构建双三元组损失联合优化原型，正负样本在特征空间上相隔m距离，m为三元组损失中边距值，设计可适应边距m_adp，正负样本的相对距离越大，边距值越小，可适应边距m_adp的计算公式为其中为负样本平均距离，N_n为负样本个数，为正样本平均距离，N_p为正样本个数，|| ||²表示欧式距离；

利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类。