[发明专利]用以处理图片帧的装置及方法

说明书

技术领域

本发明是有关于视频处理；更具体而言，本发明是关于以较少的存储器存取次数来处理图片帧的装置及方法。

背景技术

感光乳剂(photographic emulsion)的物理颗粒度(physical granularity)使胶片在影像及视频中看上去带有颗粒。胶片颗粒(film grain)使影像及视频看上去更加生动并形成艺术效果。假若没有胶片颗粒，影像及视频中的物体及人物会显得不自然。

尽管胶片颗粒具有上述优点，然而当编码或压缩影像/视频时，很难保留胶片颗粒。其原因在于，胶片颗粒为类似于中频噪声的图案，含有很高的熵(entropy)，因而很难编码在仅几个比特中。

上述问题的一个解决方案是在编码/压缩及解码/解压缩期间移除胶片颗粒、建立其模型、并将其合成，这也称作胶片颗粒技术(Film Grain Technology，FGT)。更具体而言，在编码/压缩期间移除影像或视频帧的胶片颗粒，以获得高压缩率。当解码器接收比特流时，其会建立胶片颗粒的模型，取得补充增强信息(Supplemental Enhancement Information，SEI)，并利用补充增强信息合成比特流，以得到具有胶片颗粒的合成影像。

图1A为利用胶片颗粒技术的视频解码器1的示意图。视频解码器1包含解码器11、平均单元13、静态随机存取存储器(Static Random Access Memory，SRAM)14、搜寻单元15、伪随机数产生器(Pseudo Random Nu mber Generator，PRNG)16、数据库(database，DB)撷取单元17、增强装置18、及动态随机存取存储器(Dynamic Random Access Memory，DRAM)19。

请参见图1B，其为影像/视频帧的结构示意图。视频剪辑(clip)通常被编码为多个帧10。各帧10被编码为多个16×16宏块(macroblock，MB)。各宏块10a被编码为四个亮度区块(luminance block)10b及二个色度区块(chrominanceblock)10c。各区块的尺寸皆为8×8个像素。

解码器11解码所接收的比特流101，以得到解码宏块，即四个亮度区块及二个色度区块。因视频帧是以区块为基础进行编码/解码，故各区块间存在边界。为得到经理想解码的视频帧，解码器11更分解(deblock)解码宏块，以移除边界效应。在分解后，解块宏块103被储存在DRAM 19中以供后续引用。在实施下一个视频/影像处理阶段，例如图1A所示的胶片颗粒处理时，从DRAM 19撷取解块宏块。

对于六个区块的每一区块，平均单元13都将其像素值平均并得到平均值104。搜寻单元15随后利用平均值104搜寻DRAM 19中的补充增强信息105。同时，PRNG 16根据解码宏块102而产生随机数106。数据库撷取单元17随后根据补充增强信息105及随机数106而撷取对应的详细信息107。最后，增强装置18利用对应的详细信息107而增强解块宏块103，以形成增强的宏块108。然后，将增强的宏块显示在屏幕上或储存在DRAM 19中。

上述方案的缺点在于，其需要大量地存取DRAM 19，且需要利用大的DARM来储存解块宏块103才能实施胶片颗粒技术。因此，此缺点加重了DRAM19的负担并使解码效率降低。

发明内容

为解决上述实施胶片颗粒技术时需要大量存取存储器并需要大的存储器空间的问题，本发明提供一种处理图片帧的装置与方法，能够减小视频解码时胶片颗粒处理期间所需的DRAM带宽。

本发明提供一种用以处理包含多个宏块(macroblock)的图片帧的装置，包含解码器、存储器及图像处理单元，其中各宏块包含多个区块。解码器用以执行解码以产生多个解码区块，及用以分解解码区块，以移除视觉区块效应并产生多个解块(deblocked)区块。存储器耦接于解码器，用以储存解码区块及解块区块。图像处理单元耦接于解码器，用以从解码器、或同时从存储器以及解码器，接收解块区块，用以针对视觉偏好来补偿解块区块。当不需要下一个宏块行数据就能分解解码区块时，解码器传送解块区块至图像处理单元。当需要下一个宏块行数据才能分解解码区块时，图像处理单元从存储器取得解块区块的第一部分，并从解码器取得解块区块的第二部分。