[发明专利]基于图神经网络的视频精彩片段检测方法及装置

权利要求书

1.一种基于图神经网络的视频精彩片段检测方法，其特征在于，所述方法包括：

基于预先获取的待检测视频，通过预设的图像特征提取模型获取所述待检测视频中每一帧图像的图像特征信息，其中，所述图像特征提取模型基于神经网络构建，通过预设的第一训练集训练并用于提取图像的图像特征信息，所述图像特征信息包括图像中物体的位置信息；

基于每一帧图像的图像特征信息，构建每一帧图像对应的空间图，其中，所述空间图包括多个第一节点以及多个第一节点之间的第一连线，所述第一节点为每一帧图像中的物体，所述第一连线为物体之间的关系；

根据每一帧图像对应的空间图，通过预设的语义特征提取模型获取所述每一帧图像中物体的语义特征，并根据每一帧图像中物体的语义特征构建每一帧图像对应的时序图，

其中，所述语义特征提取模型基于神经网络构建，通过预设的第二训练集训练并用于提取图像中物体的语义特征，所述时序图包括多个第二节点以及多个第二节点之间的第二连线，所述第二节点为所述待检测视频中物体的语义特征，所述第二连线为包含同一物体的每一帧图像的时序关系；

根据每一帧图像对应的时序图，通过预设的视频片段检测模型获取所述待检测视频中每一帧图像的用户感兴趣得分，其中，所述视频片段检测模型基于神经网络构建，通过预设的第三训练集训练并用于计算视频中每一帧图像的用户感兴趣得分。

2.根据权利要求1所述的方法，其特征在于，“根据每一帧图像对应的空间图，通过预设的语义特征提取模型获取所述每一帧图像中物体的语义特征”，其方法包括：

根据每一帧图像对应的时序图，通过所述视频片段检测模型中的卷积层对所述每一帧图像对应的时序图中的节点进行卷积操作；

通过所述视频片段检测模型中的池化层，对进行卷积操作后的时序图中的节点进行最大池化操作，获取所述每一帧图像中物体的语义特征。

3.根据权利要求2所述的方法，其特征在于，“获取所述每一帧图像中物体的语义特征”，其方法包括：

按照如下公式所示的方法获取所述每一帧图像中物体的语义特征：

e_i,j＝H(x_i|x_j)

其中，m_i表示所述每一帧图像中第i个物体的语义特征，α_i,j表示第i个物体和第j个物体之间的权重参数，M表示双层全连接层网络，其输入为节点与边的特征，x_i表示第i个物体的图像特征信息，x_j表示第j个物体的图像特征信息，e_i,j表示第i个物体和第j个物体之间的关系，H表示双层全连接神经网络，其输入为与边相邻的两个节点的特征。

4.根据权利要求1所述的方法，其特征在于，在“根据每一帧图像对应的空间图，通过预设的语义特征提取模型获取所述每一帧图像中物体的语义特征”的步骤之后，在“根据每一帧图像中物体的语义特征构建每一帧图像对应的时序图”的步骤之前，所述方法还包括：

通过残差连接的方法并按照如下公式所示的方法更新所述每一帧图像中物体的语义特征：

其中，表示更新后第i个物体的语义特征，x_i表示第i个物体的图像特征信息，m_i表示每一帧图像中第i个物体的语义特征。