[发明专利]视频语义标注方法、装置、设备及存储介质

权利要求书

1.一种视频语义标注方法，其特征在于，所述方法包括：

获取视频中的视频帧序列；

从所述视频帧序列中的视频帧中提取至少两个维度的多模态信息；

基于所述至少两个维度的多模态信息的组合在至少两个剧情事件中匹配出的目标剧情事件，确定为所述视频帧的剧情事件；

根据所述视频帧的剧情事件对所述视频帧序列进行语义标注，得到所述视频的语义信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧的剧情事件对所述视频帧序列进行语义标注，得到所述视频的语义信息，包括：

确定具有相同的所述剧情事件的多个连续视频帧所属的视频片段在所述视频帧序列中的开始时间戳和结束时间戳；

根据所述剧情事件、所述开始时间戳和所述结束时间戳对所述视频片段进行语义标注，得到所述视频中所述视频片段对应的语义信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述至少两个维度的多模态信息的组合在至少两个剧情事件中匹配出的目标剧情事件，确定为所述视频帧的剧情事件，包括：

获取对应关系，所述对应关系用于表征所述多模态信息组合后的事件与目标剧情事件之间的对应关系；

根据所述对应关系和所述多模态信息组合后的事件获取所述目标剧情事件，将所述目标剧情事件确定为所述视频帧的剧情事件。

4.根据权利要求1至3任一所述的方法，其特征在于，所述视频帧序列中的视频帧包括虚拟环境画面和至少一个控件，所述虚拟环境画面包括以第一虚拟角色活动时所在的虚拟环境的画面；

所述从所述视频帧序列中的视频帧中提取至少两个维度的多模态信息，包括：

调用第一信息提取模型从所述虚拟环境画面中提取虚拟元素信息，所述虚拟元素信息包括所述虚拟环境画面中的活动元素和静止元素中至少一种元素对应的信息；

调用第二信息提取模型从所述控件中提取对局信息，所述对局信息包括所述控件中与所述第一虚拟角色对应的信息。

5.根据权利要求4所述的方法，其特征在于，所述虚拟元素信息包括所述第一虚拟角色对应的角色标识，所述第一信息提取模型包括元素分类模型和定位跟踪模型；

所述调用第一信息提取模型从所述虚拟环境画面中提取虚拟元素信息，包括：

获取参与对局的所述第一虚拟角色的第一角色标识；

调用所述元素分类模型对所述虚拟环境画面中的所述第一虚拟角色对应的生命值区域进行识别，得到所述生命值区域对应的所述第一虚拟角色的第二角色标识；

响应于所述第一角色标识与所述第二角色标识匹配，得到所述第二角色标识对应的第一置信度；

调用所述定位跟踪模型根据所述第一角色标识对所述虚拟环境画面中的第一虚拟角色进行识别，得到显示在所述虚拟环境画面中的所述第一虚拟角色的第三角色标识，所述第三角色标识对应有第二置信度，所述定位跟踪模型与参与对局的所述第一虚拟角色一一对应；

根据所述第一置信度和所述第二置信度获得所述第一虚拟角色的角色标识。

6.根据权利要求4所述的方法，其特征在于，所述虚拟元素信息包括所述虚拟环境中的建筑物元素对应的位置信息，所述第一信息提取模型包括第一卷积神经网络；

所述调用第一信息提取模型从所述虚拟环境画面中提取虚拟元素信息，包括：

从所述虚拟环境画面中提取所述建筑物元素对应的建筑物元素特征；

将所述建筑物元素特征与预设建筑物元素特征进行匹配，得到第一匹配特征；

调用所述第一卷积神经网络对所述第一匹配特征进行分类，得到所述建筑物元素对应的位置信息。