[发明专利]基于特征变换度量网络的少样本人体行为识别方法及系统

权利要求书

1.一种基于特征变换度量网络的少样本人体行为识别方法，其特征在于，所述识别方法包括：

对多个原始视频进行三维卷积神经网络特征图提取，得到各原始视频的空间特征图，所述空间特征图为对应原始视频在特征空间的特征图表示；

将各所述空间特征图划分成支持特征图和查询特征图；

基于特征变换网络，根据所述支持特征图和查询特征图，得到经过特征迁移收缩变换后的变换支持特征图和变换查询特征图；

基于特征度量网络，根据各所述变换支持特征图和变换查询特征图，得到各变换支持特征图与各变换查询特征图间的特征度量距离；

根据所述特征度量距离，及查询视频的行为类别，建立识别模型；

根据所述识别模型及待识别视频，确定所述待识别视频对应的行为类别；

其中，基于特征变换网络，根据所述支持特征图和查询特征图，得到经过特征迁移收缩变换后的变换支持特征图和变换查询特征图，具体包括：

根据以下公式，计算所述支持特征图里各空间位置的局部特征中心：

其中，随机划分特征嵌入空间θ里的支持特征图f_θ,s＝{x_s}和查询特征图f_θ,q＝{x_q}，其中{x}是空间特征图f_θ里所有空间位置的局部特征集合，k为类别序号，i是特征图里空间位置的序号，S是每个行为类别支持样本数量，x_s,k,i为第k类第s个支持视频的空间特征图f_θ里第i个空间位置的局部特征，为第k类空间特征图f_θ里第i个空间位置的局部特征中心；

计算第k类的第i个位置的局部特征中心和第i个位置任意类别的支持特征x_s,i的残差Δ_s,k,i：

根据所述特征变换网络及残差Δ_s,k,i，得到非线性残差输出δ_s,k,i：

其中，Φ(.)为特征变换函数；

根据以下公式，分别计算变换支持特征图和变换查询特征图：

其中，a_k,i为局部特征中心的特征迁移变换得分，w和b分别为可学习的参数，x_s,i为第s个支持视频的空间特征图f_θ里第i个空间位置的局部特征，为第s个支持视频的空间特征图f_θ里第i个空间位置的局部特征的变换支持特征图，x_q,i为第q个查询视频的空间特征图f_θ里第i个空间位置的局部特征，为第q个支持视频的空间特征图f_θ里第i个空间位置的局部特征的变换查询特征图；

基于特征度量网络，根据各所述变换支持特征图和变换查询特征图，得到各变换支持特征图与各变换查询特征图间的特征度量距离，具体包括：

根据以下公式，计算所述变换支持特征图的局部支持特征中心：

其中，S表示支持视频的个数，表示变换支持特征图的局部支持特征中心，表示第k类第s个支持视频的空间特征图f_θ里第i个空间位置的变换局部特征，k为类别序号，i是特征图里空间位置的序号，S是每个行为类别支持样本数量；

根据以下公式，计算所述变换查询特征图与局部支持特征中心的欧氏距离d_e：

其中，为第q个支持视频的空间特征图f_θ里第i个空间位置的局部特征的变换查询特征图；

根据以下公式，计算所述变换 查询特征与局部支持特征中心的余弦相似度d_c：

根据以下公式，计算所述余弦相似度加权后的欧氏距离λ_q，k，i：

其中，λ∈[0,∞]表示欧氏距离的加权系数；

根据以下公式，计算得到加权后的欧氏距离d_q，k，i：

根据以下公式，计算所述加权距离输入到特征度量网络后的距离度量d_q,k：

其中，D为非线性函数，WH为 空间位置的个数。