[发明专利]弹幕的显示方法及装置

说明书

本发明实施例公开了一种弹幕的显示方法及装置，涉及神经网络技术领域。其中方法包括：获取视频流的视频帧图像，并将所述视频帧图像作为第一图像；基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息；以及基于所述人体区域解析信息，调整弹幕的显示区域。根据本发明实施例的弹幕的显示方法，基于轻量人体语义分割网络模型，得到视频帧图像的人体区域解析信息；基于该人体区域解析信息，调整弹幕的显示区域。防止弹幕对视频帧图像中的人体造成遮挡，以提高用户观看体验。

技术领域

本发明涉及图像处理技术领域，具体涉及一种弹幕的显示方法及装置。

背景技术

随着科技的进步，用户对智能设备的要求越来越高，在观看视频或电视节目的同时需要了解与该视频或电视节目相关的周边信息、花絮或评论，或需要与其他用户进行互动，以提高用户的观看体验。弹幕是指观看图片或视频的人实时发送的简短评论，该简短评论会随着图片或视频的播放实时地随图片或视频播放，这样用户在观看图片或视频时发表的弹幕文字会被其它同样观看该图片或视频的用户看到，也会被自己看到。

以目前常见的直播、短视频等为例，人们为增加乐趣打开弹幕开关，通常弹幕都是在屏幕的上方或下方进行显示，比如，弹幕可以根据时间线从屏幕上方的一侧以固定速度飘过，或者显示在屏幕的下方且显示一段时间后消失。但是，弹幕显示在屏幕的上方或下方，一般都会遮挡视频播放过程中视频图像的部分画面，当弹幕比较多且比较密集时，通常会遮挡住视频图像的大部分画面，甚至将视频中的主体遮挡。因此，这会对用户观看视频造成干扰，极大地降低了用户观看体验。

发明内容

有鉴于此，本发明实施例提供了一种弹幕的显示方法和装置，基于轻量人体语义分割网络模型，得到视频帧图像的人体区域解析信息；基于该人体区域解析信息，调整弹幕的显示区域。防止弹幕对视频帧图像中的人体造成遮挡，以提高用户观看体验。

根据本发明的一方面，提供一种视频的弹幕显示方法，包括：获取视频流的视频帧图像，并将所述视频帧图像作为第一图像；

基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息；以及

基于所述人体区域解析信息，调整弹幕的显示区域。

优选地，所述人体区域解析信息包括：所述视频帧图像的前景的像素和背景的像素的分布信息。

优选地，所述基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息，包括：提取所述第一图像的第一特征图；

对所述第一特征图进行第一阶段的金字塔池化，得到第二图像；以及

对所述第二图像进行第二阶段的金字塔池化，得到第三图像；

其中，所述第三图像区分显示前景的像素和背景的像素。

优选地，所述对所述第一特征图进行第一阶段的金字塔池化，得到第二图像，包括：

对所述第一特征图进行多尺度池化，得到多个不同尺度的第二特征图；

将多个不同尺度的所述第二特征图分别进行卷积以降低维度，得到多个低维的第三特征图；

将多个低维的所述第三特征图上采样为与所述第一特征图同维的多个第四特征图；

将所述第一特征图和所述多个第四特征图拼接，得到第五特征图；

基于所述第五特征图和交叉熵损失函数，将所述第五特征图的像素分为前景的像素和背景的像素，得到第六特征图；以及

对所述第六特征图进行三次样条插值，得到所述第二图像。

优选地，所述对所述第二图像进行第二阶段的金字塔池化，得到第三图像，包括：对所述第二图像进行多尺度池化，得到多个不同尺度的第七特征图；