[发明专利]视频的话题处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种视频的话题处理方法、装置、电子设备及存储介质；方法包括：从视频中提取视频帧形成视频帧集合，并获取所述视频对应的视频文本；获取用于表征所述视频帧的语义的第一词语集合，并从所述视频文本提取第二词语集合；基于所述第一词语集合和所述第二词语集合，获取所述视频属于话题集合中每个话题的概率；当所述概率超过话题概率阈值时，确定所述概率对应的话题为所述视频归属的话题。本发明通过结合视频帧模态和文本模态的信息能够准确确定视频话题。

技术领域

本发明涉及数据挖掘技术，尤其涉及一种视频的话题处理方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的日益发展，终端用户习惯于使用终端设备上的应用客户端上传视频或者浏览视频，视频等媒体数据已经成为大数据的主体，在视频推荐中能够准确的感知到用户的兴趣，如何基于视频内容进行自动的话题生成和兴趣点挖掘，对于满足用户的信息获取需求意义重大。

视频内容的话题自动挖掘是对视频内容进行分析理解以自动形成视频话题的技术，相关技术对于视频话题的挖掘主要是基于视频文本所进行的，通过获取视频文本中的有效词，来推断视频归属的话题；对于视频文本的过度依赖、以及视频文本的缺失导致难以准确确定视频话题。

发明内容

本发明实施例提供一种视频的话题处理方法、装置、电子设备及存储介质，能够通过结合视频帧模态和文本模态的信息能够准确确定视频话题。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种视频的话题处理方法，包括：

从视频中提取视频帧形成视频帧集合，并获取所述视频对应的视频文本；

获取用于表征所述视频帧的语义的第一词语集合，并从所述视频文本提取第二词语集合；

基于所述第一词语集合和所述第二词语集合，获取所述视频属于话题集合中每个话题的概率；

当所述概率超过话题概率阈值时，确定所述概率对应的话题为所述视频归属的话题。

本发明实施例提供一种视频的话题处理装置，包括：

视频提取模块，用于从视频中提取视频帧形成视频帧集合，并获取所述视频对应的视频文本；

词语提取模块，用于获取用于表征所述视频帧的语义的第一词语集合，并从所述视频文本提取第二词语集合；

话题概率计算模块，用于基于所述第一词语集合和所述第二词语集合，获取所述视频属于话题集合中每个话题的概率；

话题确定模块，用于当所述概率超过话题概率阈值时，确定所述概率对应的话题为所述视频归属的话题。

上述方案中，所述视频提取模块还用于：

每隔一段采样时间对所述视频进行抽帧处理，以形成所述视频帧集合；或者

获取所述视频的关键情节位置，抽取所述关键情节位置对应的视频帧以形成所述视频帧集合。

上述方案中，所述词语提取模块还用于：

获取所述视频帧集合中每个视频帧的有效视觉词；

获取所述有效视觉词在所述视频帧集合的所有视频帧的出现次数；

当所述出现次数大于有效视觉词阈值时，将所述出现次数大于所述有效视觉词阈值的有效视觉词组合，以形成所述第一词语集合。

上述方案中，所述词语提取模块还用于：

通过神经网络模型从所述每个视频帧提取图像特征，将所提取的图像特征连接并转换为对应多个视觉词的视觉词概率；