[发明专利]基于非对称纹理及深度分辨率的视图合成

说明书

本申请案主张于2012年4月16号申请的第61/625,064号美国临时申请案的权益，所述申请案的全部内容特此以引用的方式并入。

技术领域

本发明涉及视频译码，且更确切地说，涉及用于对视频数据进行译码的技术。

背景技术

可将数字视频能力并入到多种多样的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术(例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))、当前在开发过程中的高效率视频译码(HEVC)标准定义的标准及此些标准的扩展中所描述的视频压缩技术)以更有效率地发射、接收及存储数字视频信息。

视频压缩技术包含空间预测及/或时间预测以减少或移除视频序列中所固有的冗余，且改进处理、存储及发射性能。另外，数字视频可以数种形式来译码，包含多视图视频译码(MVC)数据。在一些应用中，MVC数据可在检视时形成三维视频。MVC视频可包含两个视图且有时包含更多视图。发射、存储以及编码及解码与MVC视频相关联的所有信息可消耗大量计算及其它资源，以及导致例如发射时延增加等问题。因而，替代单独地译码或以其它方式处理所有视图，可通过译码一个视图及从经译码视图导出其它视图来增进效率。然而，从现有视图导出额外视图可包含数个技术及资源相关挑战。

发明内容

一般来说，本发明描述与三维(3D)视频译码(3DVC)有关的技术，三维(3D)视频译码(3DVC)将纹理及深度数据用于基于深度图像的渲染(depth image based rendering，DIBR)。举例来说，本发明中所描述的技术可与将深度数据用于纹理数据的扭曲及/或空洞填补以形成目的地图片有关。纹理及深度数据可为用于3DVC的MVC加深度译码系统中的第一视图的分量。目的地图片可形成第二视图，所述第二视图连同所述第一视图一起形成一对视图以供3D显示。在一些实例中，所述技术可使参考图片的深度图像中的一个深度像素与以下各者相关联以(例如)作为用于DIBR中的最小处理单元：参考图片的纹理图像的明度分量中的多个像素、第一色度分量中的一或多个像素，及第二色度分量中的一或多个像素。以此方式，处理循环可有效地用于视图合成，包含用于扭曲及/或空洞填补过程以形成目的地图片。

在一实例中，一种用于处理视频数据的方法包含在最小处理单元(MPU)中，使参考图片的深度图像的一个像素与所述参考图片的纹理图像的第一色度分量的一或多个像素相关联。所述MPU指示合成目的地图片中的像素所需的像素的关联。所述目的地图片及所述参考图片的所述纹理分量在一起检视时形成三维图片。所述方法还包含：在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一或多个像素相关联；及在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像素相关联。所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个像素的数目及所述第二色度分量的所述一或多个像素的数目。

在另一实例中，一种用于处理视频数据的设备包含：至少一个处理器，其经配置以在最小处理单元(MPU)中，使参考图片的深度图像的一个像素与所述参考图片的纹理图像的第一色度分量的一或多个像素相关联。所述MPU指示合成目的地图片中的像素所需的像素的关联。所述目的地图片及所述参考图片的所述纹理分量在一起检视时形成三维图片。所述至少一个处理器还经配置以执行以下操作：在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一或多个像素相关联；及在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像素相关联。所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个像素的数目及所述第二色度分量的所述一或多个像素的数目。