[发明专利]一种用于重构的基于投影的帧的解块方法

说明书

一种应用于具有第一投影面和第二投影面的重构的基于投影的帧的解块方法，包括：获得用于第一块的第一球面相邻块，其中第一块的块边缘将被解块滤波，并且选择性地将解块应用于第一块的块边缘，以至少更新第一块的像素的一部分。在第一投影面的面边界和第二投影面的面边界之间存在图像内容不连续性。第一块是第一投影面的一部分，第一块的块边缘是第一投影面的面边界的一部分。第一球面相邻块对应的球体上的区域与球体上获得第一投影面的区域相邻。

相关引用

本发明主张递交于2018年3月9日，号码为62/640,699以及递交于2018年8月28日，号码为62/723,522的美国临时专利申请案的优先权，上述列出的申请案内容以引用方式并入本文。

技术领域

本发明总体上涉及处理全向视频内容，更具体地说，涉及采用360度虚拟现实(360-degree virtual reality，简称360VR)投影的投影布局的重构的基于投影的帧的解块方法。

背景技术

具有头戴式显示器(Head-mounted display,简称HMD)的虚拟现实(virtualreality,简称VR)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。真实世界环境必须在所有方向上捕获，从而产生对应于球体的全向视频。随着摄像机装备和HMD的进步，由于表示这种360度图像内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。

全向视频的数据压缩/编码可通过传统的视频编解码标准来实现，该标准通常采用基于块的编解码技术来利用空间和时间冗余。例如，基本方法是将源帧划分为多个块(或编解码单元)，对每个块执行帧内预测/帧间预测，变换每个块的残差，以及执行量化和熵编码。此外，重构帧被生成以提供用于编码后续块的参考像素数据。对于某些视频编码标准，环内滤波器被用来增强重构帧的图像质量。例如，视频编码器使用解块滤波器来减少在基于块的编解码之后出现的块状伪像。视频解码器用于执行由视频编码器执行的视频编码操作的逆操作。因此，视频解码器还具有用于增强重构帧的图像质量的环内滤波器。例如，视频解码器还使用解块滤波器来减少块状伪像。

通常，对应于球体的全向视频内容被变换为图像序列，每个图像是基于投影的帧，其具有由布置在360VR投影布局中的一个或多个投影面所代表的360度图像内容，然后基于投影的帧的序列被编码成比特流用于传输。然而，基于投影的帧可能在图像边界(即，布局边界)和/或面边缘(即，面边界)处具有图像内容不连续性。然而，传统的解块滤波器设计不能处理不连续图像边界和/或不连续面边缘处的解块。

发明内容

要求保护的本发明的目的之一是提供一种采用360VR投影的投影布局的重构的基于投影的帧的解块方法。比如，一种基于球面相邻的解块方法被解块滤波器采用。

根据本发明的第一方面，公开了一种用于重构的基于投影的帧的示例性解块方法。重构的基于投影的帧包括被打包在360VR投影的投影布局多个投影面，从360VR投影获得的球体的360度图像内容被映射到投影面上。示例性解块方法包括：通过解块滤波器获得第一块的第一球面相邻块，其中第一块的块边缘被解块滤波；以及选择性地将解块应用于第一块的块边缘，以至少更新第一块的像素的一部分。投影面包括第一投影面和第二投影面，第一投影面的一个面边界与第二投影面的一个面边界连接，在第一投影面的所述一个面边界与第二投影面的所述一个面边界之间存在图像内容不连续性。第一块是第一投影面的一部分，第一块的块边缘是第一投影面的所述一个面边界的一部分，以及第一球面相邻块对应于球体上的区域与球体上获得第一投影面的区域相邻。