[发明专利]用于传递视频中的感兴趣区域信息的方法和设备

说明书

本文描述了一种用于传递视频中的感兴趣区域信息的方法，包括：从所述视频的第一视频帧中确定感兴趣区域信息；响应于存在作为所述第一视频帧的前一视频帧的第二视频帧，则确定所述第一视频帧的感兴趣区域信息与所述第二视频帧的感兴趣区域信息间的残差作为感兴趣区域残差掩码；对所述感兴趣区域残差掩码进行压缩；对所述压缩后的感兴趣区域残差掩码与所述第一视频帧的编码视频数据进行补充增强信息封装，以得到第一封装视频帧；以及传递所述第一封装视频帧。

技术领域

本公开涉及视频处理的技术领域，具体地涉及用于传递视频中的感兴趣区域信息的方法和设备，以及用于在视频的渲染画面上提供辅助信息的方法和设备。

背景技术

近些年来，视频播放或渲染技术得到了极大发展，尤其是在互联网视频播放或渲染技术领域中更是如此。为了体现视频的交互性和趣味性，出现了各种视频编辑技术，例如弹幕叠加、图标叠加、动画叠加、字幕叠加等等。在实施这些技术时，希望弹幕、图标、动画、字幕等在显示时能避开用户感兴趣的区域，使得感兴趣区域(ROI)(例如，人脸)仍然能够被清晰地观看，从而不会影响视频渲染时的用户观看体验。

通常，使用一个比特表示视频画面中的一个像素是否属于感兴趣区域，以形成该视频画面的感兴趣区域(ROI)信息。而且，ROI信息通常都是按照一张张画面存储的，这导致在传递ROI信息时(例如在将ROI信息从编码端传递到解码端时)需要的带宽显著增加。例如，如果视频画面的分辨率为1920x1080，则每一帧画面需要1920x1080/8字节的数据量表示ROI信息，这导致额外增加的带宽，其大小为1920*1080*帧率。

发明内容

签于此，本公开提供了用于传递视频中的感兴趣区域信息的方法和设备，以及用于在视频的渲染画面上提供辅助信息的方法和设备，期望克服上面提到的部分或全部缺陷以及其它可能的缺陷。

根据本公开的第一方面，提供了一种用于传递视频中的感兴趣区域信息的方法，包括：从所述视频的第一视频帧中确定感兴趣区域信息；响应于存在作为所述第一视频帧的前一视频帧的第二视频帧，则确定所述第一视频帧的感兴趣区域信息与所述第二视频帧的感兴趣区域信息间的残差作为感兴趣区域残差掩码；对所述感兴趣区域残差掩码进行压缩；对所述压缩后的感兴趣区域残差掩码与所述第一视频帧的编码视频数据进行补充增强信息封装，以得到第一封装视频帧；以及传递所述第一封装视频帧。

在一些实施例中，所述视频的每个视频帧中的每个像素具有灰度分量。

在一些实施例中，从所述视频的第一视频帧中确定感兴趣区域信息，包括：基于所述第一视频帧中的所有像素的灰度分量来确定感兴趣区域；以及基于所述确定的感兴趣区域来确定所述感兴趣区域信息。

在一些实施例中，基于所述确定的感兴趣区域来确定所述感兴趣区域信息包括：以像素块为单位来基于所述确定的感兴趣区域确定所述感兴趣区域信息。

在一些实施例中，所述方法还包括：响应于不存在作为所述第一视频帧的前一视频帧的第二视频帧，则确定所述第一视频帧的感兴趣区域信息为所述感兴趣区域残差掩码。

在一些实施例中，确定所述第一视频帧的感兴趣区域信息与所述第二视频帧的感兴趣区域信息间的残差包括：对所述第一视频帧的感兴趣区域信息与所述第二视频帧的感兴趣区域信息进行异或操作来确定所述残差。

在一些实施例中，对所述感兴趣区域残差掩码进行压缩包括：采用Bzip2技术对所述感兴趣区域残差掩码进行压缩。

在一些实施例中，所述第一视频帧的编码视频数据包括对所述第一视频帧进行H.264或者H.265编码而得到编码视频数据。

在一些实施例中，传递所述第一封装视频帧包括：传递所述第一封装视频帧到视频客户端进行渲染。