[发明专利]基于多维原型重构增强学习的小样本行为识别方法及系统

说明书

本发明涉及一种基于多维原型重构增强学习的小样本行为识别方法，包括在计算得到视频描述子之后，通过动态时序转换进行网络优化，计算所述支持集视频描述子中的每一类视频的类平均原型，并利用重加权相似度注意力分别计算查询集样本和支持集样本与类平均原型的相似度，根据各自对应的相似度对支持集样本和查询集样本重加权，得到两个原型，将两个原型进行加权求和得到交叉增强原型，并且构建双三元组优化分类特征空间增强所述交叉增强原型对不同类别的可鉴别能力，利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类，其大大提高了分类准确度。

技术领域

本发明涉及计算机视觉技术领域，尤其是指一种基于多维原型重构增强学习的小样本行为识别方法及系统。

背景技术

随着机器视觉在理论上和实践上的不断研究，人体行为识别逐步成为一个重要分支。传统的行为识别方法可以归纳为基于RGB图像和基于视频的方法，但是这些方法都存在着严重的局限性，即需要大量的带注释数据来训练模型以正确识别动作，这带来了很昂贵的计算代价。而小样本学习旨在通过学习少量样本即可实现对新样本的分类，小样本行为识别包括两个输入：支持集视频表示和查询集视频表示，模型在支持集上训练，使用支持集特征对查询集视频表示分类。小样本学习以片段式学习训练，每个片段包含一个支持集和一个查询集。支持集中包含N个类别，每个类别包含K个样本；而查询集含有和支持集相同的N个类别，每个类别也包括K个样本，其称为N-way K-shot学习。值得注意的是，支持集的样本和查询集的样本是不相交的。小样本行为识别通常采用5-wat1-shot和5-way5-shot这两种设置进行小样本学习。

目前，面向小样本行为识别的方法主要使用原型网络。在原型网络中，首先使用特征提取网络提取视频描述子，对同类别视频特征求平均值作为该类别的原型，采用最近邻算法对查询样本进行分类。但是原型网络存在以下局限：(1)无法获取一个通用原型以更好地表示该类别的平均水平。(2)部分动作之间存在细微差异，类间可鉴别性弱。(3)训练集和测试集动作分布不均衡，不同域之间的时序信息分布偏差较显著。

基于以上考虑，迫切需要提出一种多维重构增强原型网络用于小样本行为识别。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于多维原型重构增强学习的小样本行为识别方法及系统，本发明在得到交叉增强原型后构建双三元组优化分类特征空间增强所述交叉增强原型对不同类别的可鉴别能力，其大大提高了分类准确度。

为解决上述技术问题，本发明提供一种基于多维原型重构增强学习的小样本行为识别方法，包括：

基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征，利用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子；

基于所述支持集时序特征求解原始时序注意力，在所述支持集时序特征上施加随机打乱重排列操作，得到支持集时序特征的补充特征，计算所述补充特征的打乱时序注意力，对所述打乱时序注意力实施逆操作得到补充时序注意力，计算所述原始时序注意力与补充时序注意力的差值，并将其作为动态时序变换损失用于优化注意力网络；

利用平均法计算所述支持集视频描述子中的每一类视频的类平均原型，并利用重加权相似度注意力分别计算查询集样本和支持集样本与类平均原型的相似度，根据各自对应的相似度对支持集样本和查询集样本重加权，得到两个原型，将两个原型进行加权求和得到交叉增强原型；

分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组，通过正负样本的相对距离计算可适应边距，基于上述双三元组和可适应边距设计双三元组可适应损失，增强所述交叉增强原型对不同类别的可鉴别能力；

利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类。

在本发明的一个实施例中，基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征，包括：