[发明专利]多模态视频标题生成方法、装置、存储介质及存储设备

权利要求书

1.一种多模态视频标题生成方法，其特征在于，包括：

利用相应的特征编码器分别获取预定视频中的文本特征以及视频特征；

对所述文本特征以及所述视频特征进行融合得到文本视频融合特征；以及，

利用标题生成器根据所述文本视频融合特征得到所述预定视频的视频标题。

2.如权利要求1所述的多模态视频标题生成方法，其特征在于，所述对所述的文本特征以及所述视频特征进行融合得到文本视频融合特征的过程包括，

对所述文本特征以及所述视频特征进行拼接得到拼接特征；

利用第一神经网络模型根据所述拼接特征得到文本综合特征以及视频综合特征；

利用第二神经网络模型根据所述文本综合特征以及所述视频综合特征得到所述文本视频融合特征。

3.如权利要求2所述的多模态视频标题生成方法，其特征在于，所述利用第一神经网络模型根据所述拼接特征得到文本综合特征以及视频综合特征的过程包括，

利用第一神经网络模型根据所述拼接特征得到第二注意力矩阵以及第三注意力矩阵；

根据所述第二注意力矩阵以及所述第三注意力矩阵得到所述文本综合特征以及所述视频综合特征。

4.如权利要求3所述的多模态视频标题生成方法，其特征在于，所述第二注意力矩阵为所述文本特征到所述视频特征方向的注意力矩阵，所述第三注意力矩阵为所述视频特征到所述文本特征方向的注意力矩阵。

5.如权利要求3所述的多模态视频标题生成方法，其特征在于，所述利用第一神经网络模型根据所述拼接特征得到第二注意力矩阵以及第三注意力矩阵的过程包括，

利用第一神经网络模型根据所述拼接特征得到第一注意力矩阵；

利用所述第一注意力矩阵拆分得到所述第二注意力矩阵以及所述第三注意力矩阵。

6.如权利要求5所述的多模态视频标题生成方法，其特征在于，

所述第一注意力矩阵为包括所述文本特征到所述视频特征方向以及所述视频特征到所述文本特征方向的双向注意力矩阵。

7.如权利要求3所述的多模态视频标题生成方法，其特征在于，所述根据所述第二注意力矩阵以及所述第三注意力矩阵得到所述文本综合特征以及所述视频综合特征的过程包括，

利用所述第二注意力矩阵与所述文本特征进行矩阵乘法得到所述文本综合特征；

利用所述第三注意力矩阵与所述视频特征进行矩阵乘法得到所述视频综合特征。

8.一种多模态视频标题生成装置，其特征在于，包括：

用于利用相应的特征编码器分别获取预定视频中的文本特征以及视频特征的模块；

用于对所述文本特征以及所述视频特征进行融合得到文本视频融合特征的模块；以及，

用于利用标题生成器根据所述文本视频融合特征得到所述预定视频的视频标题的模块。

9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令被操作以执行权利要求1-7中任一项所述的多模态视频标题生成方法。

10.一种计算机设备，其包括处理器和存储器，所述存储器存储有计算机指令，其中，所述处理器操作所述计算机指令以执行权利要求1-7任一项所述的多模态视频标题生成方法。