[发明专利]视频语义标注方法、装置、设备及存储介质

说明书

本申请公开了一种视频语义标注方法、装置、设备及存储介质，属于视频语义理解领域。该方法包括：获取视频中的视频帧序列；从视频帧序列中的视频帧中提取至少两个维度的多模态信息；基于所述至少两个维度的多模态信息的组合在至少两个剧情事件中匹配出的目标剧情事件，确定为视频帧的剧情事件；根据视频帧的剧情事件对视频帧序列进行语义标注，得到视频的语义信息。无需训练相关的语义理解模型，提高了语义信息的标注效率和准确率，通过将经过语义标注后的视频推送给用户，使得用户可以观看更多高质量的视频内容，提升用户的视频浏览体验。

技术领域

本申请涉及视频语义理解领域，特别涉及一种视频语义标注方法、装置、设备及存储介质。

背景技术

用户在观看视频时，在视频播放界面中显示有与该视频有关的信息，如视频名称、视频标签(类型)、精彩片段等。

视频生产者将视频上传至视频平台，视频平台对上传的视频进行信息标注后存储，当用户通过标注信息进行视频搜索时，视频平台将与标注信息对应的视频发送至用户对应的客户端。以游戏视频为例，游戏主播(视频生产者)将游戏视频上传至视频平台后，通过机器学习模型对游戏视频中可能存在的精彩片段进行语义标注，输出游戏视频的语义信息。如时间轴在1分30秒至2分之间，游戏对战双方进行团战，则对该视频片段进行标注。

上述技术方案中，机器学习模型在训练过程中需要大量的语义标注样本视频，语义标注样本视频需要通过人工的方式进行标定，这为获得大量的语义标注样本视频增加了难度，在缺少语义标注样本视频时，采用较少的语义标注样本视频训练得到的机器学习模型对语义标注的准确性较差。

发明内容

本申请实施例提供了一种视频语义标注方法、装置、设备及存储介质，通过确定视频帧中提取到的虚拟元素信息和对局信息组合后所匹配的对局事件，根据对局事件对视频进行语义标注，无需通过样本视频训练得到的机器学习模型也可得到视频的语义信息，提高了语义信息的标注效率和准确率。所述技术方案如下：

根据本申请的一个方面，提供了一种视频语义标注方法，所述方法包括：

获取视频中的视频帧序列；

从所述视频帧序列中的视频帧中提取至少两个维度的多模态信息；

基于所述至少两个维度的多模态信息的组合在至少两个剧情事件中匹配出的目标剧情事件，确定为所述视频帧的剧情事件；

根据所述视频帧的剧情事件对所述视频帧序列进行语义标注，得到所述视频的语义信息。

根据本申请的另一方面，提供了一种视频语义标注装置，所述装置包括：

获取模块，用于获取视频中的视频帧序列；

提取模块，用于从所述视频帧序列中的视频帧中提取至少两个维度的多模态信息；

处理模块，用于基于所述至少两个维度的多模态信息的组合在至少两个剧情事件中匹配出的目标剧情事件，确定为所述视频帧的剧情事件；

标注模块，用于根据所述视频帧的剧情事件对所述视频帧序列进行语义标注，得到所述视频的语义信息。

根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的视频语义标注方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上方面所述的视频语义标注方法。