[发明专利]一种基于深度学习的短视频去重方法

权利要求书

1.一种基于深度学习的短视频去重方法，其特征在于，包括：

对待比较的目标视频和询问视频进行预处理，分别获得所述目标视频和所述询问视频的张量表示；

利用预训练的神经网络分别获得所述目标视频和所述询问视频的时空特征向量；

构造进行视频特征相似度判别的神经网络模型并对所述神经网络模型进行训练，所述神经网络模型包括权重层、融合模块以及2D卷积神经网络模块，其中，所述权重层用于对所述目标视频和所述询问视频的时空特征向量分别进行加权，分别获得所述目标视频和所述询问视频的加权后时空特征向量，所述融合模块用于对所述目标视频和所述询问视频的加权后时空特征向量进行特征融合，获得融合后时空特征向量；所述2D卷积神经网络模块用于根据所述融合后时空特征向量获得所述目标视频和所述询问视频的相似度值；

将所述目标视频和所述询问视频的时空特征向量输入经训练的神经网络模型中获得所述目标视频和所述询问视频的相似度值；

利用所述相似度值判断是否删除所述目标视频和所述询问视频。

2.根据权利要求1所述的基于深度学习的短视频去重方法，其特征在于，对待比较的目标视频和询问视频并进行预处理，分别获得所述目标视频和所述询问视频的张量表示，包括：

对所述目标视频在时间维度上均匀提取多帧图像，去除所述多帧图像中相邻且结构相似的冗余图像，获得去除冗余图像后的多帧图像；

删除所述多帧图像中模糊度超过设定模糊度阈值的图像，获得去除模糊帧后的多帧剩余图像；

根据所述多帧剩余图像获得目标视频的张量表示；

依据所述目标视频的预处理过程对所述询问视频进行预处理，获得所述询问视频的张量表示。

3.根据权利要求2所述的基于深度学习的短视频去重方法，其特征在于，去除所述多帧图像中相邻且结构相似的冗余图像，包括：

分别获得相邻帧图像的亮度相似度、对比度相似度以及结构相似度：

其中，l(x,y)、c(x,y)和s(x,y)分别表示相邻两张灰度图在当前窗口下的亮度、对比度和结构之间的相似度，x和y为相邻帧图像灰度化后当前N×N窗口下各自的像素点集合，μ_x为当前窗口中所有像素点x轴坐标的均值，μ_y为当前窗口中所有像素点y轴坐标的均值，为当前窗口中所有像素点x轴坐标的方差，为当前窗口中所有像素点y轴坐标的方差，σ_xy为当前窗口中所有像素点x轴坐标和y轴坐标的协方差，c₁、c₂和c₃为常数；

获得相邻帧图像之间的总相似度值：

SSIM(x,y)＝[l(x,y)^α·c(x,y)^β·s(x,y)^γ]，

其中，α、β、γ为设定的常数；

将相邻帧图像之间的总相似度值与设定的相似度阈值进行比较，若所述总相似度值大于设定的相似度阈值，则随机删除所述相邻帧图像中的一帧图像，对所述目标视频多帧图像的相邻帧图像两两进行比较，直到剩下所有相邻帧图像之间的总相似度值均小于所述相似度阈值。

4.根据权利要求2所述的基于深度学习的短视频去重方法，其特征在于，利用预训练的神经网络分别获得所述目标视频和所述询问视频的时空特征向量，包括：

将所述目标视频或询问视频中的预处理后的多帧图像分别输入预训练的VisionTransformer网络中得到每张图像的空间特征向量，随后将所述空间特征向量融合位置编码输入预训练Video transformer网络的时序特征编码器中，得到所述目标视频或所述询问视频的时空特征向量。

5.根据权利要求1所述的基于深度学习的短视频去重方法，其特征在于，所述2D卷积神经网络包括依次连接的复制填充层、第一二维卷积层、复制填充层、第二二维卷积层、复制填充层、第三二维卷积层以及第四二维卷积层，其中，

每个复制填充层均用于对输入矩阵的四周填充一圈数值；

所述第一二维卷积层、所述第二二维卷积层和所述第三二维卷积层的激活函数为relu，均采用最大池化，所述第四二维卷积层利用softmax层输出一个相似度矩阵。