[发明专利]基于改进的VLAD算法的视频分类方法

说明书

本发明提供一种基于改进的VLAD算法的视频分类方法，包括：根据对特征图进行非局部描述特征处理，获得非局部相关区域，具体包括：对特征图进行三次的卷积操作，输出三个压缩特征图；所述压缩特征图包括第一压缩特征图、第二压缩特征图和第三压缩特征图，其中，第一压缩特征图的特征格式为H×W×(N×C/2)，第二压缩特征图的特征格式为(N×C/2)×(H×W)，第三压缩特征图为H×W×(N×C/2)；以任一个压缩特征图的任一特征向量为乘数、另一压缩特征图的任一特征向量为乘数地两两矩阵相乘，得到关联强度矩阵；将关联强度矩阵输入损失函数后与第三压缩特征图进行矩阵相乘，输出特征图的非局部相关区域，引入非局部相关区域使图像特征有完善的表示。

技术领域

本发明涉及图像视频处理领域，更具体地，涉及一种基于改进的VLAD算法的视频分类方法。

背景技术

一种优秀的特征编码方法能够应用于图像、视频分类或者目标检索各个领域，其中VLAD(Vector of Locally Aggregated Descriptors)无论在传统图像处理，还是深度学习领域中，都有大量的研究学者进行专研与改进。NetVLAD是一个近年提出的应用于深度神经网络的VLAD网络结构，类似于池化层，将图像特征进行编码，压缩成固定大小的局部特征向量以表达图像整体信息，能够插入到任何CNN模型中，与网络模型一同训练。但二者均存在着2点不足之处：1、应用于传统图像处理领域的VLAD算法，虽然能够较好地针对图像数据特征输出局部聚合描述特征，但对图像特征缺乏学习优化的过程，输出特征与目标标签出现误差亦不能沿着误差方向得到改善。2、应用于深度学习领域的改进VLAD算法，虽然解决了VLAD对图像特征学习优化的问题，但是输出的局部聚合特征一定程度上会出现信息丢失，对网络模型识别造成影响。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷(不足)，提供一种改进的VLAD算法，用于完善使用VLAD算法进行视频分类的特征描述以减少误差。

本发明采取的技术方案是：

一种基于改进的VLAD算法的视频分类方法，去除深度残差网络结构的基础网络的全连接层与最后一层池化层，以输入视频中的视频帧至深度残差网络结构得到特征图；对特征图进行上采样反卷积操作；输入视频中的视频帧至深度残差网络结构得到特征图的特征格式为(H×W×C×N)；训练NetVLAD网络结构，以使特征图输入NetVLAD网络结构以一段时间内的视频帧为目标进行局部聚合特征，得到局部特征向量和聚类中心区域；根据局部特征向量通过卷积操作得到软分配权重，将局部特征向量划分至相应对聚类中心区域，以计算局部特征描述子与聚类中心区域对残差分布；构建聚合特征矩阵；其中的构建聚合特征矩阵的过程包括：对根据视频帧生成的特征图进行卷积操作得到软分配权重，输出预设数量的权重信息；根据权重信息构建聚合特征矩阵；其中，根据权重信息构建聚合特征矩阵具体包括：通过损失函数处理所述权重信息，输出与权重信息数量相同个数的软分配权重，对其进行残差加权与残差求和的处理，构建聚合特征矩阵；根据对特征图进行非局部描述特征处理，获得非局部相关区域，具体包括：对特征图进行三次的卷积操作，输出三个压缩特征图；所述压缩特征图包括第一压缩特征图、第二压缩特征图和第三压缩特征图，其中，第一压缩特征图的特征格式为H×W×(N×C/2)，第二压缩特征图的特征格式为(N×C/2)×(H×W)，第三压缩特征图为H×W×(N×C/2)；以任一个压缩特征图的任一特征向量为乘数、另一压缩特征图的任一特征向量为乘数地两两矩阵相乘，得到关联强度矩阵；将关联强度矩阵输入损失函数后与第三压缩特征图进行矩阵相乘，输出特征图的非局部相关区域；将软分配权重和非局部相关区域进行点乘，得到聚类区域相关区域；将聚类区域相关区域进行卷积操作降维压缩成聚类区域空间相关性，并将聚类区域空间相关性串行拼接在聚合特征矩阵中得到最终特征向量；预建立最终特征向量与视频种类的映射集；根据最终特征向量确定输入的视频的视频种类。