[发明专利]一种视频分割方法、装置、设备及存储介质

权利要求书

1.一种视频分割方法，其特征在于，包括：

获取待分割视频，并确定所述待分割视频所包括的多个视频片段；

确定每个视频片段的片段特征；

基于所述每个视频片段的片段特征，以及预训练的自注意力模型，将所述多个视频片段划分至多个场景；所述自注意力模型用于根据相邻两个视频片段中每个视频片段的片段特征确定所述相邻两个视频片段之间的相关性；

基于划分得到的所述多个场景，分割所述待分割视频。

2.根据权利要求1所述的视频分割方法，其特征在于，所述确定每个视频片段的片段特征，包括：

确定所述每个视频片段的图像特征以及所述每个视频片段的文本特征；

根据所述每个视频片段的图像特征以及文本特征，确定所述每个视频片段的片段特征。

3.根据权利要求2所述的视频分割方法，其特征在于，所述确定所述每个视频片段的图像特征以及所述每个视频片段的文本特征，包括：

从所述每个视频片段所包括的多个图像帧中确定关键图像帧；所述关键图像帧位于所述多个图像帧中的预设位置；

基于所述关键图像帧以及预训练的第一神经网络，确定所述关键图像帧的图像特征，并将所述关键图像帧的图像特征确定为所述每个视频片段的图像特征；所述第一神经网络用于对输入的图像帧进行卷积处理，以得到对应的图像特征；

确定所述多个图像帧的文本信息，并根据所述文本信息以及预训练的第二神经网络，确定所述每个视频片段的文本特征；所述第二神经网络用于对输入的文本信息进行卷积处理，以得到对应的文本特征。

4.根据权利要求3所述的视频分割方法，其特征在于，所述基于所述关键图像帧以及预训练的第一神经网络，确定所述关键图像帧的图像特征，包括：

将所述关键图像帧裁剪为多个子图像帧，并根据所述多个子图像帧以及所述第一神经网络，生成所述多个子图像帧的图像特征；

将所述多个子图像帧的图像特征进行平均池化，以得到所述关键图像帧的图像特征。

5.根据权利要求2-4中任一项所述的视频分割方法，其特征在于，所述基于所述每个视频片段的片段特征，以及预训练的自注意力模型，将所述多个视频片段划分至多个场景，包括：

将所述每个视频片段的图像特征以及所述每个视频片段的文本特征输入所述自注意力模型的第一自注意力层中，并基于所述第一自注意力层确定的特征权重，对所述每个视频片段的图像特征以及每个视频片段的文本特征进行加权，以得到所述每个视频片段的第一融合特征；

对于所述多个视频片段中的相邻视频片段，将所述相邻视频片段的所述第一融合特征均输入到所述自注意力模型的第二自注意力层中，并基于所述第二自注意力层确定的特征权重，对所述相邻视频片段的所述第一融合特征进行加权，以得到对应所述相邻视频片段的第二融合特征；

将对应所述相邻视频片段的第二融合特征输入到所述自注意力模型的全连接层中，以确定所述相邻视频片段之间的相关性；

根据所述相邻视频片段之间的相关性，确定针对所述相邻视频片段的场景分割结果；所述场景分割结果指示所述相邻视频片段是否位于同一场景；

根据所述多个视频片段中每个相邻视频片段的场景分割结果，将所述多个视频片段划分至多个场景。

6.一种视频分割装置，其特征在于，包括获取单元、确定单元以及处理单元；

所述获取单元，用于获取待分割视频；

所述确定单元，用于确定所述待分割视频所包括的多个视频片段；

所述确定单元，还用于确定每个视频片段的片段特征；

所述处理单元，用于基于所述每个视频片段的片段特征，以及预训练的自注意力模型，将所述多个视频片段划分至多个场景；所述自注意力模型用于根据相邻两个视频片段中每个视频片段的片段特征确定所述相邻两个视频片段之间的相关性；

所述处理单元，还用于基于划分得到的所述多个场景，分割所述待分割视频。