[发明专利]一种基于深度学习的视频片段内容匹配方法

说明书

本发明公开了一种基于深度学习的视频片段内容匹配方法，包括如下步骤：A、构建具有类别标注的N类视频片段数据集；B、利用三维卷积神经网络构建视频片段内容表示的嵌入模型，并利用所述视频片段数据集训练该嵌入模型；C、构建基于视频片段内容表示的嵌入模型的匹配模型，并利用训练好的嵌入模型在视频片段数据集上进行特征提取得到的三维特征作为训练集来训练该匹配模型；D、利用训练好的嵌入模型和匹配模型对输入的1个查询视频片段和M个被查询视频片段进行匹配，得到匹配结果。能够对相似的视频内容进行高效的匹配，同时具有较好的语义理解能力和泛化能力，为视频编辑和查询提供智能技术支持。

技术领域

本发明涉及计算机视觉技术，尤其是一种基于深度学习的视频片段内容匹配方法。

背景技术

随着融合媒体的快速发展，特别是在广播电视编辑的视频用于互联网视频进行发布时，视频内容匹配和查询是成为非常重要的挑战。例如在赛事转播过程中，多个机位拍摄到的同一种行为的视频片段，在新媒体上发布时需要对这些视频内容进行匹配并归类以满足新媒体运营商在短视频业务上面的部署。同时，在编辑未剪辑的视频片段过程中查询相似内容的视频片段，使得视频编辑者可以快速对视频内容进行整合发布。因此视频内容匹配和查询的方法会提高编辑的工作效率，降低人工成本。

现有的视频片段内容匹配具有以下不足之处：

（1）、现有的视频片段内容匹配都是基于视频帧进行的，因此需要从视频中抽取若干关键帧进行特征提取，从而需要耗费较长的处理时间。

（2）、现有视频内容匹配基于规则特征，例如灰度值或亮度值的变换进行比较，不能较好的理解基于时序的动作行为等高层语义。

（3）、利用手动定义的相似度度量规则，例如欧氏距离、余弦相似性等方法来度量视频片段的内容相似性不能够具有较强的泛化能力，导致视频片段内容匹配的精度不高。

因此，我们需要设计一种基于深度学习的视频片段内容匹配方法来对相似的视频内容进行高效的匹配，同时具有较好的语义理解能力和泛化能力，为视频编辑和查询提供智能技术支持。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于深度学习的视频片段内容匹配方法，通过该方法对相似的视频内容进行高效的匹配，同时具有较好的语义理解能力和泛化能力，为视频编辑和查询提供智能技术支持。

本发明采用的技术方案如下：

一种基于深度学习的视频片段内容匹配方法，包括如下步骤：

A、构建具有类别标注的N类视频片段数据集；

B、利用三维卷积神经网络构建视频片段内容表示的嵌入模型，并利用所述视频片段数据集训练该嵌入模型；

C、构建基于视频片段内容表示的嵌入模型的匹配模型，并利用训练好的嵌入模型在视频片段数据集上进行特征提取得到的三维特征作为训练集来训练该匹配模型；

D、利用训练好的嵌入模型和匹配模型对输入的1个查询视频片段和M个被查询视频片段进行匹配，得到匹配结果。

进一步地，步骤A中，构建具有类别标注的N类视频片段数据集时，采用数据增强手段扩充数据集，并保持类间样本均衡。

进一步地，步骤B中，所述三维卷积神经网络为I3D模型，利用该I3D模型构建的嵌入模型结构按串联顺序包括：一个7×7×7的三维卷积层、一个1×3×3的最大池化层、一个1×1×1的三维卷积层、一个3×3×3的三维卷积层进一步提取视频特征、一个1×3×3的最大池化层、两个Inception模块、一个3×3×3的三维卷积层、五个Inception模块、一个2×1×1的最大池化层、两个Inception模块、一个1×1×1的三维卷积层、以及一个7×7×7的平均池化层。