[发明专利]基于区域方向性离差和的视频帧内快速算法

说明书

用于在高效视频编码(HEVC)中基于区域方向性离差和来对视频帧进行编码单元(CU)划分的方法和产品。

技术领域

本发明涉及图像与视频处理领域，更具体而言，涉及在高效视频编码 (HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法、装置和计算机程序产品。

背景技术

虚拟现实视频是用专业摄像机捕捉整个场景的图像信息，视频由软件拼接，由专用设备播放。它还为观看者提供了各种操作图像的功能，可以放大、缩小和向各个方向移动来观看场景，从而模拟和再现场景的真实环境。在虚拟现实系统中，多个摄像机捕获360度场景并将所有场景拼接成球形视频，从而创建360度视频。当我们对360度视频进行编码时，我们必须将球形视频投影到平面视频中以适应广泛使用的编码标准，例如H.264 /AVC和H.265/高效视频编码(HEVC)。多种投影格式，如等矩形投影(ERP)，调整的等面积(AEP)，立方体贴图(CMP)，等角立方图(EAC)，截断方形金字塔(TSP)，紧凑八面体(COHP)，紧凑二十面体(CISP)已被提议。在这些格式中，ERP是一种简单且广泛使用的格式。它将经线映射到恒定间距的垂直线，将纬线映射到恒定间距的水平线，进而将球形视频转换为平面视频。然而，ERP投影格式导致拉伸和失真，并且两极区域特别严重，导致冗余度增加和编码效率降低。在本研究中，我们使用ERP投影格式来说明我们提出的算法。

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(Highefficiency video coding)标准，其也称为H.265。 HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR) 下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准的第一版已经在2013年的一月份完成。并于2013年4月、 2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本发明的背景技术。

HEVC提出了全新的语法单元：编码单元(CU)是进行预测、变换、量化和熵编码的基本单元，预测单元(PU)是进行帧内帧间预测的基本单元，变换单元(TU)是进行变换和量化的基本单元。

如图1所示，在HEVC中，可以进行帧内预测模式和帧间预测模式的切换。在帧内预测模式和帧间预测模式中，HEVC都采用编码树单元(CTU) 的编码结构，CTU是HEVC编解码的基本处理单元。CTU由1个亮度CTB、 2个色度CTB和相应的语法元素组成。图2显示了在一个LCU(最大编码单元)编码后的CTU结构。在HEVC中，LCU可以只包含一个编码单元 (CU)，也可以使用CTU四叉树结构划分出为不同大小的CU。

HEVC中有四种大小CU，大小分别为：64x64、32x32、16x16和8x8。 CU块越小，其在CTU树中位置越深。当CU为64x64、32x32和16x16时称为2Nx2N模式(表示可以划分为更小的CU)，当CU为8x8时称为NxN 模式(表示不可以进行进一步划分)。对于帧内预测，CU被分成两个 PartMode(2Nx2N和NxN)，这取决于它是否可以被分成更小的CU。尺寸为64x64、32x32和16x16的CU属于2N×2N，尺寸为8×8的CU属于N×N。