[发明专利]基于图神经网络的视频精彩片段检测方法及装置

说明书

本发明涉及视频信息技术领域，具体涉及一种基于图神经网络的视频精彩片段检测方法和装置。为了解决现有技术对视频精彩片段检测精度低的问题，本发明提出一种方法，包括基于预先获取的待检测视频，通过预设的图像特征提取模型获取待检测视频中每一帧图像的图像特征信息；基于每一帧图像的图像特征信息，构建每一帧图像对应的空间图；根据每一帧图像对应的空间图，通过预设的语义特征提取模型获取每一帧图像中物体的语义特征，并根据每一帧图像中物体的语义特征构建每一帧图像对应的时序图；根据每一帧图像对应的时序图，通过预设的视频片段检测模型获取待检测视频中每一帧图像的用户感兴趣得分。本发明的方法提高了视频精彩片段的检测准确率。

技术领域

本发明涉及视频信息技术领域，具体涉及一种基于图神经网络的视频精彩片段检测方法及装置。

背景技术

随着便携摄像机和智能眼镜等可穿戴设备的普及，越来越多人通过视频记录自己的生活，视频精彩片段检测显得日益重要。

现有的大多数视频精彩片段检测方法都是提取视频整体特征，并没有考虑到时空局部特征存在差异。由于视频内容的复杂性，这种混合特征将会影响最终精彩片段的检测效果。现有的模型主要分成三种，即基于隐变量的排序模型，基于自动编码器的模型以及基于卷积神经网络的模型。基于隐变量的模型解决了视频中存在大量噪声的问题，扩大了训练样本的范围，但由于采用手工特征表示视频，限制了方法的精度；基于自动编码器的模型降低了对训练数据中负样本数量的要求，但由于整个过程是一个无监督学习，因此检测精度较低；基于卷积神经网络的模型利用双支网络考虑了视频空间与时间维度上的信息，取得了较高的检测精度，但未考虑不同帧提供的信息不同，在同一帧中，不同区域提供的信息也不同。

因此，如何提出一种准确检测视频精彩片段的方法是本领域技术人员需要解决的技术问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术对视频精彩片段检测精度低的问题，本发明的第一方面提供了一种基于图神经网络的视频精彩片段检测方法，所述方法包括：

基于预先获取的待检测视频，通过预设的图像特征提取模型获取所述待检测视频中每一帧图像的图像特征信息，其中，所述图像特征提取模型基于神经网络构建，通过预设的第一训练集训练并用于提取图像的图像特征信息，所述图像特征信息包括图像中物体的位置信息；

基于每一帧图像的图像特征信息，构建每一帧图像对应的空间图，其中，所述空间图包括多个第一节点以及多个第一节点之间的第一连线，所述第一节点为每一帧图像中的物体，所述第一连线为物体之间的关系；

根据每一帧图像对应的空间图，通过预设的语义特征提取模型获取所述每一帧图像中物体的语义特征，并根据每一帧图像中物体的语义特征构建每一帧图像对应的时序图，

其中，所述语义特征提取模型基于神经网络构建，通过预设的第二训练集训练并用于提取图像中物体的语义特征，所述时序图包括多个第二节点以及多个第二节点之间的第二连线，所述第二节点为所述待检测视频中物体的语义特征，所述第二连线为包含同一物体的每一帧图像的时序关系；

根据每一帧图像对应的时序图，通过预设的视频片段检测模型获取所述待检测视频中每一帧图像的用户感兴趣得分，其中，所述视频片段检测模型基于神经网络构建，通过预设的第三训练集训练并用于计算视频中每一帧图像的用户感兴趣得分。

优选地，“根据每一帧图像对应的空间图，通过预设的语义特征提取模型获取所述每一帧图像中物体的语义特征”，其方法包括：

根据每一帧图像对应的时序图，通过所述视频片段检测模型中的卷积层对所述每一帧图像对应的时序图中的节点进行卷积操作；

通过所述视频片段检测模型中的池化层，对进行卷积操作后的时序图中的节点进行最大池化操作，获取所述每一帧图像中物体的语义特征。

优选地，“获取所述每一帧图像中物体的语义特征”，其方法包括：