[发明专利]视频摘要生成方法、装置、电子设备及存储介质

权利要求书

1.一种视频摘要生成方法，其特征在于，所述方法包括：

获取视频数据；

通过预设的视频提取模型对所述视频数据进行视频提取，得到多个视频片段；

对所述视频片段进行编码处理，得到视频隐藏特征向量；

将所述视频隐藏特征向量与预设的参考词向量进行矩阵相乘处理，得到视频描述词段；

通过预设的文本识别模型对所述视频描述词段进行文本识别处理，得到视频摘要语句；

根据预设的拼接顺序对所述视频摘要语句进行拼接处理，得到视频摘要文本。

2.根据权利要求1所述的视频摘要生成方法，其特征在于，所述视频提取模型包括双流网络、BM层、卷积层和预设函数，所述通过预设的视频提取模型对所述视频数据进行视频提取，得到多个视频片段的步骤，包括：

通过所述双流网络对所述视频数据进行特征提取，得到视频特征；

通过BM层将预设的权重矩阵与所述视频特征进行点乘处理，得到视频特征图；

通过所述卷积层对所述视频特征图进行卷积处理，得到视频特征置信度图；

通过所述预设函数对所述视频特征的每一时序位置进行特征概率计算，得到时序概率值；

根据所述视频特征置信度图和所述时序概率值对所述视频数据进行分割处理，得到所述视频片段。

3.根据权利要求1所述的视频摘要生成方法，其特征在于，所述文本识别模型包括Bert层和Transformer层，所述通过预设的文本识别模型对所述视频描述词段进行文本识别处理，得到视频摘要语句的步骤，包括：

对所述视频描述词段进行词向量化处理，得到每一所述视频描述词段对应的视频描述词向量；

通过所述Bert层对所述视频描述词向量进行嵌入处理，得到视频描述表征向量；

通过所述Transformer层对每一所述视频描述表征向量进行文本分值计算，得到每一所述视频描述表征向量的文本分值；

根据所述文本分值对所述视频描述词段进行筛选处理，得到视频摘要语句。

4.根据权利要求3所述的视频摘要生成方法，其特征在于，所述通过所述Bert层对所述视频描述词向量进行嵌入处理，得到视频描述表征向量的步骤，包括：

通过所述Bert层中预设的参考段嵌入向量对所述视频描述词向量进行段嵌入处理，得到视频段嵌入向量；

通过所述Bert层中预设的特征维度对所述视频描述词向量进行位置嵌入处理，得到视频位置嵌入向量；

对所述视频描述词向量、所述视频段嵌入向量以及所述视频位置嵌入向量进行组合处理，得到所述视频描述表征向量。

5.根据权利要求3所述的视频摘要生成方法，其特征在于，所述根据所述文本分值对所述视频描述词段进行筛选处理，得到视频摘要语句的步骤，包括：

根据所述文本分值对视频描述词段进行降序排列，得到视频描述词段序列；

根据预设的筛选条件对所述视频描述词段序列进行筛选处理，得到所述视频摘要语句。

6.根据权利要求5所述的视频摘要生成方法，其特征在于，所述根据预设的筛选条件对所述视频描述词段序列进行筛选处理，得到所述视频摘要语句的步骤，包括：

比对所述视频描述词段序列中每一视频描述词段的文本分值与预设的文本阈值；

对所述文本分值大于或者等于所述文本分值阈值的视频描述词段进行增补处理，得到所述视频摘要语句。

7.根据权利要求1至6任一项所述的视频摘要生成方法，其特征在于，所述根据预设的拼接顺序对所述视频摘要语句进行拼接处理，得到视频摘要文本的步骤，包括：

获取每一视频摘要语句的预设分隔符；

根据预设的拼接顺序和所述预设分隔符对所述视频摘要语句进行拼接处理，得到所述视频摘要文本。