[发明专利]语义视频图像的生成方法、播放方法及相关装置

说明书

一种语义视频图像的生成方法、播放方法及相关装置，该语义视频图像的生成方法，包括：对当前帧图像进行图像识别，以识别出当前帧图像中的各个物体对象，以及各个物体对象的语义信息；为识别出的各个物体对象分配唯一的ID，并建立对应关系；分别确定各个物体对象在当前视频帧图像中所占区域的位置，得到各个物体对象的区域位置信息；在一空白图像中确定各个物体对象对应的图像区域，并将图像区域中的每一个像素点的颜色值赋值为对应的ID，得到语义索引帧图像；根据语义索引帧图像和各个物体对象的语义信息，生成语义参考视频帧图像；将各帧的语义参考视频帧图像与原始视频进行帧时序相关处理，得到语义视频图像。

技术领域

本发明涉及电子信息技术领域，特别是涉及一种语义视频图像的生成方法、播放方法及相关装置。

背景技术

随着信息技术和互联网技术的发展，视频称为越来越重要信息传递媒介，社交平台上短视频使用量激增，在线视频、视频直播等随着5G设施的建设将更广泛地应用。现有视频技术在实时、大信息量传递取得了极大的成功，视觉和听觉体验效果不断提升，但其可交互性却一直缺乏，这主要是因为现有视频的设计就是单向传递信息，人的眼睛和耳朵被动地接收。不管是直播还是录播，播放机在播放的时候把画面声音呈现出来，但它不知道人在接收到这些信息时会想什么，会有什么交互的动机。

用户体验越来越受到重视，例如在基于融合眼球追踪的VR(虚拟现实)系统中，系统能够获知人眼注视点的位置信息，但是因为现有的视频图像只有色彩光影信息，不能提供注视点位置所关注的对象是什么，所以难以准确推断用户的视觉交互行为意图。

发明内容

鉴于上述状况，有必要提供一种语义视频图像的生成方法、播放方法及相关装置，以解决现有技术无法确定播放的视频图像的语义信息的问题。

一种语义视频图像的生成方法，包括：

对原始视频的当前帧图像进行图像识别，以识别出所述当前帧图像中的各个物体对象，以及各个所述物体对象的语义信息；

为识别出的各个物体对象分配唯一的ID，并建立各个所述ID和所述语义信息之间的对应关系；

分别确定各个物体对象在所述当前视频帧图像中所占区域的位置，得到各个所述物体对象的区域位置信息；

在一索引图像中确定各个所述物体对象的区域位置信息所对应的图像区域，并将所述图像区域中的每一个像素点的颜色值赋值为对应的所述物体对象的ID，以得到所述当前视频帧图像对应的语义索引帧图像；

根据所述语义索引帧图像和各个所述物体对象的语义信息，生成所述当前帧图像对应的语义参考视频帧图像；

将所述语义参考视频帧图像与所述当前帧图像进行时序相关处理，得到语义视频图像。

进一步的，上述语义视频图像的生成方法，其中，所述为识别出的各个物体对象分配唯一的ID的步骤包括：

判断识别的当前物体是否为前序帧图像中识别到的物体对象；

若是，将前序帧图像中识别到的物体对象的ID作为所述当前物体的ID；

若否，为所述当前物体分配ID。

进一步的，上述语义视频图像的生成方法，其中，所述对原始视频的当前帧图像进行图像识别，以识别出所述当前帧图像中的各个物体对象，以及各个所述物体对象的语义信息的步骤包括：

对原始视频的当前帧图像进行显著性检测，以确定所述当前帧图像中面积比例大于阈值的显著性区域；

对所述显著性区域进行图像识别，以识别出所述显著性区域中的各个物体对象，以及各个所述物体对象的语义信息。

进一步的，上述语义视频图像的生成方法，其中，所述原始视频的当前帧图像的步骤包括：