[发明专利]使用滤波和子空间投影的视频编译的恢复

说明书

描述了恢复由源帧的重构产生的劣化帧。一种方法包括：使用第一恢复参数，为劣化帧的劣化图块生成第一引导图块，确定投影操作的投影参数，以及在编码比特流中编码第一恢复参数和投影参数。投影操作将源帧的源图块和劣化图块之间的差异与第一引导图块和劣化图块之间的差异相关联。

相关申请的交叉引用

本申请要求2016年11月4日提交的美国临时专利申请序列号62/417,545的权益，其全部公开内容通过引用结合于此。

背景技术

数字视频流可以使用帧序列或静态图像来表示视频。数字视频可以用于各种应用，包括例如视频会议、高清视频娱乐、视频广告或用户生成的视频的共享。数字视频流可以包含大量数据，并且消耗计算设备的大量计算或通信资源以用于处理、传输或存储视频数据。已经提出了各种方法来减少视频流中的数据量，包括压缩和其它编码技术。

使用压缩的编码可以通过将帧或图像分成随后被压缩的块来执行，通常使用导致一些数据丢失的编码技术。解码器可以将一个或多个滤波器应用于重构帧，以便去除或平滑由(例如有损)编码引起的伪像。

发明内容

本公开一般涉及视频编译，尤其涉及使用滤波和子空间投影的恢复。

本公开的实施方式的一个方面是一种恢复由源帧的重构产生的劣化帧的方法。该方法包括使用第一恢复参数生成用于劣化帧的劣化图块的第一引导图块，确定投影操作的投影参数，以及在编码比特流中编码第一恢复参数和投影参数。投影操作将源帧的源图块和劣化图块之间的差异与第一引导图块和劣化图块之间的差异相关联。因此，在不降低编码或压缩过程的效率的情况下，可以提高编码帧的质量(或提供减少的损耗)。

例如，劣化帧可能由编码和解码过程中出现的保真度或质量的降低引起。

恢复参数可以是描述源图块或帧与引导图块以及原始帧两者之间的差异的值的实际值或近似值。例如，恢复参数可以包括例如从半径和噪声值的码本中选择的半径和/或噪声值。图块可以是帧的至少一部分。

可选地，生成第一引导图块可以包括下述中的一个或多个(以任意组合)：

从半径和噪声值的码本中选择半径和噪声值；

对劣化图块的像素位置处的每个像素：

使用所述半径确定相对于以像素为中心的第一窗口中的劣化图块的像素值的像素均值和像素方差；

使用像素方差和噪声值来确定基线值；使用像素均值和基线值来确定平滑值；

使用以像素为中心的第二窗口中的劣化图块的像素值，确定平均基线值和平均平滑值；和/或

基于劣化图块中共位的像素值、平均基线值和平均平滑值来确定第一引导图块的像素位置中的引导像素值。

可选地，第一窗口可以具有与第二窗口相同的大小(或不同的大小)。可选地，第二窗口可以是3×3窗口。可以使用其他大小窗口。例如，可以是正方形。

可选地，可以通过以下各项来使用加权和来近似平均基线值：将权重分配给第二窗口的至少一些像素位置，使得权重之和是2的幂；计算加权和；以及将加权和移位2的幂。可以使用其他能力。

可选地，投影操作可以包括相应的差异项，每个差异项使用相应的引导图块，以及其中，投影参数包括每个相应差异项的相应投影参数。

可选地，该方法可以进一步包括：基于第二恢复参数，生成用于劣化图块的第二引导图块，其中，确定投影操作的投影参数包括：确定投影操作的投影参数，投影操作进一步将源帧的源图块和劣化图块之间的差异与第二引导图块和劣化图块之间的差异相关联。

可选地，该方法可以进一步包括从码本或其他数据集或库中选择第一恢复参数。