[发明专利]用于对齐段落和视频的方法和装置

权利要求书

1.一种用于对齐段落和视频的方法，包括：

获取解说词以及与所述解说词对应的候选素材资源集合，候选素材资源为视频或图像；

获取所述解说词中的每个段落与所述候选素材资源集合中每个候选素材资源之间的匹配度；

基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长；

基于所述解说词中的每个段落对应的候选素材资源序列，生成与所述解说词对应的视频，包括：

利用语音合成技术生成所述解说词中的每个段落对应的语音；通过预先训练的视频提前播放时间确定模型，得到各段落对应的视频提前播放时长；对于所述解说词中的段落，按照该段落在所述解说词中从前到后的顺序，将所述解说词中除第一个段落以外的每个段落，根据所述视频提前播放时长将该段落对应的视频提前播放，并覆盖掉该段落的前一个段落的视频的尾部，或在该段落的前一个段落的音频的尾部增加无声播放时长；根据得到的音频和视频生成所述解说词对应的视频。

2.根据权利要求1所述的方法，其中，所述方法还包括：

将与所述解说词对应的视频发送给终端设备，以供所述终端设备呈现所收到的视频。

3.根据权利要求2所述的方法，其中，所述基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，包括：

对于所述解说词中的每个段落，利用第一预设优化算法，以与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与该段落对应的候选素材资源序列与该段落的匹配度最大为优化目标，确定与该段落对应的候选素材资源序列。

4.根据权利要求2所述的方法，其中，所述基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，包括：

利用第二预设优化算法，以与所述解说词中各段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与所述解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标，确定与所述解说词中各段落对应的候选素材资源序列。

5.根据权利要求4所述的方法，其中，所述解说词中各段落对应的候选素材资源序列中的候选素材资源互不相同。

6.根据权利要求3所述的方法，其中，所述第一预设优化算法为动态规划算法或者路径最短优化算法。

7.根据权利要求4所述的方法，其中，所述第二预设优化算法为动态规划算法或者路径最短优化算法。

8.一种用于对齐段落和视频的装置，包括：

第一获取单元，被配置成获取解说词以及与所述解说词对应的候选素材资源集合，候选素材资源为视频或图像；

第二获取单元，被配置成获取所述解说词中的每个段落与所述候选素材资源集合中每个候选素材资源之间的匹配度；

确定单元，被配置成基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长；

视频生成单元，被配置成基于所述解说词中的每个段落对应的候选素材资源序列，生成与所述解说词对应的视频，包括：利用语音合成技术生成所述解说词中的每个段落对应的语音；通过预先训练的视频提前播放时间确定模型，得到各段落对应的视频提前播放时长；对于所述解说词中的段落，按照该段落在所述解说词中从前到后的顺序，将所述解说词中除第一个段落以外的每个段落，根据所述视频提前播放时长将该段落对应的视频提前播放，并覆盖掉该段落的前一个段落的视频的尾部，或在该段落的前一个段落的音频的尾部增加无声播放时长；根据得到的音频和视频生成所述解说词对应的视频。