[发明专利]经抽取图像数据的传输及恢复

说明书

技术领域

本发明的实施例涉及图像处理，且更特定来说，涉及视频或图像内的经抽取颜色通 道的传输、接收及恢复。

背景技术

众所周知，人类视觉系统(下称“HVS”)在亮度域中相比于在颜色域中对空间细节 更敏感。此效应的精确测量已表明，在正常白天观察条件下，HVS针对明度细节相比于 针对颜色细节多约2.2倍的空间视敏度。图像及视频(例如见于JPEG(参看ISO/IEC 10918-1:1994)及大多数视频压缩系统，例如MPEG及其衍生物(参看ISO/IEC13818、 ISO/IEC14496及ISO/IEC23008))的有效传输及处理通过将明度(Y或亮度)通道与颜色 (CbCr或色度)通道分离并接着在编码及传输之前按一个倍频程进行抽取而降低色度通 道的分辨率来充分利用此效应。此通常被称为4:2:0色度子采样。这些经抽取色度通道 的存在是通过位流旗标而从编码器发信到解码器。在接收及解码后，位流旗标的存在就 通常通过简单的升采样过程(例如，双三次插值或双线性插值)向解码器指示按比例放大 色度通道。

按一个以上倍频程抽取色度通道可显著地降低待传输的信息的量，但是经解码及经 按比例放大的色度通道展现包含小对象的降低的饱和度的多种假象及颜色溢出，颜色溢 出为颜色从小对象溢入到相邻背景对象中的感知。主要出于此原因，在任何当前图像或 视频压缩标准中不支持按一个以上倍频程抽取色度通道。

在使用更高级的按比例放大方法进行图像引导式按比例缩放时已存在一些近期工 作，例如在科普夫(Kopf)、约翰尼斯(Johannes)等人的“联合双边升采样”(美国计算机 协会图形学(TOG)(ACMTransactionsonGraphics)，第26卷，第3期.ACM，2007年(其 以引用的方式并入本文中))中所教示，以联合双边采样的形式允许3D图像的经抽取深 度图的恢复，所述3D图像可应用于经抽取色度通道的恢复，所述经抽取色度通道已按 一个以上倍频程抽取。然而，由于位流语法不支持发信按一个以上倍频程抽取的此类通 道，故实施这些方法需要对图像及视频的编码及解码标准进行紧耦合及改变。

另外，按一个以上倍频程简单地按比例缩小色度通道并传递与全分辨率亮度通道共 同混合的经抽取色度通道会使大多数视频解码器的运动估计混淆，这是由于它们依赖于 亮度及色度通道的空间对应性以便实现准确的运动估计，借此降低它们的效率。另外， 在针对图像编码及视频编码器两者的低位率、高量化的情景中，经共同混合的色度通道 可在亮度通道上遗留可见的印记，从而在亮度通道上造成可辨认为色度通道的阴影的假 象。

发明内容

通过提供一种用于按一个以上倍频程抽取的色度通道的传输、接收及恢复及按比例 放大的系统及方法而在所属领域中补救上述问题且实现技术解决方案。第一处理装置的 第一颜色通道处理器通过子采样按一个以上倍频程抽取输入图像或视频的色度通道以 创建经抽取色度通道。所述第一颜色通道处理器将全分辨率亮度通道及经抽取色度通道 布置在新的第二图像或视频的不同空间位置中，使得它们不重叠。所述第一颜色通道处 理器将所述第二图像或视频传递到编码器。所述编码器将所述经编码的所述第二图像或 视频传递到传输器，所述传输器将所述经编码的第二图像或视频传输到第二处理装置。 所述第一处理装置通过带内或带外发信方法中的任一者向所述第二处理装置发信所述 经抽取色度通道的存在。所述第二处理装置用基于标准的解码器解码所述经编码的第二 图像以创建经解码的第二图像。所述第二处理装置的第二颜色通道处理器将所述经解码 的第二图像的所述亮度及色度非重叠空间布置分离成分离通道。所述第二颜色通道处理 器使用所述经分离亮度通道作为统计先验而执行所述经分离的经抽取色度通道的联合 双边升采样以匹配于所述经分离亮度通道的分辨率。所述联合双边升采样可包括逐倍频 程多尺度联合双边升采样。所述第二处理装置可进一步对所述经恢复色度通道执行直方 图拉伸操作。