[发明专利]一种视频关键帧提取方法、装置及存储介质

说明书

本发明涉及计算机技术领域，尤其涉及一种视频关键帧提取方法、装置及存储介质。该方法通过构建机器学习模型，基于样本视频、对应的关键帧序列以及样本视频内容描述文本进行机器学习训练得到关键帧提取模型；在使用该关键帧提取模型处理待处理视频过程中，挖掘待处理视频的视频内容描述文本与候选帧集之间的关联获得候选帧权重分布，利用候选帧权重分布对从候选帧集中提取关键帧进行信息指导，实现更精确的提取视频的关键帧。

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频关键帧提取方法、装置及存储介质。

背景技术

目前常用的视频关键帧提取方案是基于传统的统计学方法，即按帧内容差异对视频进行场景切分得到视频候选帧，进而使用统计学方法对这些候选帧提取低级视觉特征(sift、颜色直方图等)，最后基于这些低级视觉特征提取最后的视频关键帧。但是此类方法使用的只是帧的低级视觉特征，并不能很好的反应视频帧的真实内容信息，不能保证所提取的帧就是关键帧。

发明内容

本发明提供了一种视频关键帧提取方法、装置及存储介质，使用本发明进行视频关键帧提取能够提高关键帧的提取效率和准确度。

一方面，本发明提供一种视频关键帧提取方法，包括：

获取待处理视频和与该待处理视频对应的视频内容描述文本；

将所述待处理视频和所述视频内容描述文本输入已训练的关键帧提取模型，输出得到所述待处理视频的各候选帧为关键帧的概率；

基于各候选帧为关键帧的概率提取所述待处理视频的关键帧；

其中，所述关键帧提取模型是基于样本视频、对应的关键帧序列以及样本视频内容描述文本进行机器学习训练得到的。

另一方面，本发明提供视频关键帧提取装置，包括：

获取模块，用于获取待处理视频和与该待处理视频对应的视频内容描述文本；

处理模块，用于将所述待处理视频和所述视频内容描述文本输入已训练的关键帧提取模型，输出得到所述待处理视频的各候选帧为关键帧的概率；

提取模块，用于基于各候选帧为关键帧的概率提取所述待处理视频的关键帧；

其中，所述关键帧提取模型是基于样本视频、对应的关键帧序列以及样本视频内容描述文本进行机器学习训练得到的。

优选地，所述关键帧提取模型通过以下方法训练得到：

获取训练样本，所述训练样本包括样本视频、对应的关键帧序列以及样本视频内容描述文本；

构建机器学习模型，所述机器学习模型包括第一初始深度学习模型、第二初始深度学习模型、第三初始深度学习模型和第四初始深度学习模型，所述第三初始深度学习模型的输入是根据所述第一初始深度学习模型的输出和所述第二初始深度学习模型的输出获得的，所述第四初始深度学习模型的输入是根据所述第一初始深度学习模型的输出和所述第三初始深度学习模型的输出获得的；

将所述样本视频和所述样本视频内容描述文本输入所述机器学习模型进行关键帧识别训练，得到所述样本视频的关键帧预测结果；

将所述关键帧预测结果与所述样本视频对应的关键帧序列进行对比，计算得到损失值；

根据所述损失值调整所述机器学习模型中第一初始深度学习模型、第二初始深度学习模型、第三初始深度学习模型和第四初始深度学习模型的参数值，直至所确定的损失值达到训练停止条件时，将所述第一初始深度学习模型作为帧特征提取器、所述第二初始深度学习模型作为词特征提取器、所述第三初始深度学习模型作为权重计算模型、将所述第四初始深度学习模型作为概率计算模型，得到所述关键帧提取模型。

所述处理模块还包括：