[发明专利]全景立体视频系统的压缩方法和装置

说明书

提供一种对含左视帧和右视帧的立体视频进行压缩的方法，该方法包括：通过帧内预测，确定所述左视帧内的第一分块的纹理显著性值(1101)；通过运动估算，确定该第一分块的运动显著性值(1102)；确定所述第一分块与所述右视帧内的相应的第二分块之间的视差显著性值(1103)；根据所述视差显著性值、纹理显著性值以及运动显著性值，确定量化参数(1104)；以及根据所述量化参数，对所述第一分块进行量化(1105)。

相关申请的交叉引用

本申请要求申请号为PCT/CN2016/070712，名称为“全景立体视频系统的校准方法和装置”，申请日为2016年1月12日的国际专利申请，以及申请号为PCT/CN2016/070823，名称为“全景立体视频系统的拼接方法和装置”，申请日为2016年1月13日的国际专利申请的权益和优先权。此两申请的全部公开内容通过引用并入本文。

技术领域

本发明涉及用于拍摄、处理、压缩及显示3D全景立体视频的全景立体视频系统，尤其涉及在全景立体视频系统内进行3D全景立体视频压缩的方法和装置。

背景技术

上述文献中提出的全景立体视频系统通过将立体全景视频显示于头戴式显示器(HMD)以实现沉浸式3D体验。立体视频的分辨率和持续性为决定用户体验的两个主要特征。该系统将16个高分辨率(HD)摄像头拍摄的图像相互拼接，从而生成立体视频，而且每一视野的分辨率至少为3840×2160(4K)。由于该系统的帧速率为50fps，因此其可大幅降低运动模糊及闪动效应。然而，另一方面，其超高的分辨率及高刷新率导致产生巨量的视频数据，从而给3D视频服务和广播造成了难题。

如H.264、VC-1及HEVC等的现有混合视频编码方法的视频编码效率在过去十年中获得了显著提升，而且通过实施密集时空预测，大大降低了视频序列中的时间和空间冗余度。如MV-HEVC和3D-HEVC等的3D技术的最新进展还进一步研究了不同视场之间的视差预测。然而，为了实现立体全景视频更好的压缩性能，还需要通过对人类视觉特性及针对全景的特性加以考虑以提高主观视频质量。

一般而言，360度的全景图像包含拉长的视场，而且大部分视场很有可能仅为背景。然而，用户可能仅关注视场当中颜色、纹理、运动或深度对比较为显著的一小部分。

基于人类视觉特征的压缩方法的基本原理在于，仅对少量具有高优先度的被选关注区域进行编码，以获得高主观视频质量，与此同时，以低优先度处理较不关注的区域，以节省比特。为了实现这一点，通常使用关注预测方法对用户可能关注的区域进行预测。

现有的2D图像显著性计算主要考虑如颜色、形状、朝向、纹理、曲率等的特征的对比反差。在图像序列或视频中，关注区域检测侧重于可将前景与背景区别开来的运动信息。然而，由于现有视频压缩方法不考虑立体视频中的立体视觉反差，因此不适合用于立体视频。此外，当显著性对象在空间层面上不具有视觉独特性，而且在时间层面上不发生运动时，该现有方法难以对其关注区域进行检测。

因此，需要提供一种同时将纹理、运动和立体视觉反差用于显著性分析的新的立体视频压缩方法。

发明内容

为了解决现有技术中的问题，本发明实施方式提供一种同时将纹理、运动和立体视觉反差用于显著性分析的新的立体视频压缩方法。具体而言，通过采用基于分块的立体视觉检测，进一步提供在人类视觉中具有重要作用的深度线索。

根据本发明一种实施方式，提供一种对含左视帧和右视帧的立体视频进行压缩的方法，该方法包括：通过帧内预测，确定所述左视帧内的第一分块的纹理显著性值；通过运动估算，确定该第一分块的运动显著性值；确定所述第一分块与所述右视帧内的相应的第二分块之间的视差显著性值；以及根据所述视差显著性值、纹理显著性值以及运动显著性值，确定量化参数。

优选地，所述方法还包括：根据所述量化参数，对所述第一分块进行量化。