[发明专利]一种视频关键帧提取方法、装置及存储介质

权利要求书

1.一种视频关键帧提取方法，其特征在于，包括：

获取待处理视频和与该待处理视频对应的视频内容描述文本；

将所述待处理视频和所述视频内容描述文本输入已训练的关键帧提取模型，输出得到所述待处理视频的各候选帧为关键帧的概率；

基于各候选帧为关键帧的概率提取所述待处理视频的关键帧；

其中，所述关键帧提取模型是基于样本视频、对应的关键帧序列以及样本视频内容描述文本进行机器学习训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述关键帧提取模型通过以下方法训练得到：

获取训练样本，所述训练样本包括样本视频、对应的关键帧序列以及样本视频内容描述文本；

构建机器学习模型，所述机器学习模型包括第一初始深度学习模型、第二初始深度学习模型、第三初始深度学习模型和第四初始深度学习模型，所述第三初始深度学习模型的输入是根据所述第一初始深度学习模型的输出和所述第二初始深度学习模型的输出获得的，所述第四初始深度学习模型的输入是根据所述第一初始深度学习模型的输出和所述第三初始深度学习模型的输出获得的；

将所述样本视频和所述样本视频内容描述文本输入所述机器学习模型进行关键帧识别训练，得到所述样本视频的关键帧预测结果；

将所述关键帧预测结果与所述样本视频对应的关键帧序列进行对比，计算得到损失值；

根据所述损失值调整所述机器学习模型中第一初始深度学习模型、第二初始深度学习模型、第三初始深度学习模型和第四初始深度学习模型的参数值，直至所确定的损失值达到训练停止条件时，将所述第一初始深度学习模型作为帧特征提取器、所述第二初始深度学习模型作为词特征提取器、所述第三初始深度学习模型作为权重计算模型、将所述第四初始深度学习模型作为概率计算模型，得到所述关键帧提取模型。

3.根据权利要求1所述的方法，其特征在于，所述将所述待处理视频和所述视频内容描述文本输入已训练的关键帧提取模型，输出得到所述待处理视频的各候选帧为关键帧的概率，包括：

将所述待处理视频和所述视频内容描述文本输入已训练的关键帧提取模型，利用所述关键帧提取模型执行如下处理：

对所述待处理视频进行分析处理，得到所述待处理视频的候选帧集的候选帧集特征；

对所述视频内容描述文本进行分析处理，得到所述视频内容描述文本的所有分词的分词特征；

基于所述候选帧集特征和所述分词特征，确定表征各候选帧与各分词之间关联性的关系特征；

将所述关系特征中的各分词还原得到视频内容描述文本，根据各候选帧与还原得到的视频描述文本中每个分词的关联性，确定表征各候选帧与所述视频内容描述文本之间相关度的候选帧权重分布；

根据所述候选帧集特征和所述候选帧权重分布，计算所述候选帧集中各候选帧为关键帧的概率。

4.根据权利要求3所述的方法，其特征在于，

所述对所述待处理视频进行分析处理，得到所述待处理视频的所有候选帧的候选帧集特征，包括：

对所述待处理视频进行抽帧处理，得到所述待处理视频的候选帧集；

将所述候选帧集的所有候选帧输入帧特征提取器，利用所述帧特征提取器提取所述候选帧集中各候选帧的固定维度特征向量，将提取的所有候选帧的特征向量组合形成帧向量矩阵，输出所述帧向量矩阵；

将所述帧向量矩阵作为所述候选帧集特征；

所述对所述视频内容描述文本进行分析处理，得到所述视频内容描述文本的所有分词的分词特征，包括：

对所述视频内容描述文本进行分词处理，得到所述视频内容描述文本的分词序列；

将所述分词序列中所有分词输入词特征提取器，利用所述词特征提取器提取所述分词序列中各分词的固定维度特征向量，将提取的所有分词的特征向量按照分词序列组合形成词向量矩阵，输出所述词向量矩阵；

将所述词向量矩阵作为所述分词特征。