[发明专利]使用较低分辨率流的视频编码

说明书

背景技术

过去，称为“超分辨率”的技术已在卫星成像中被用来提高所捕捉图像的分辨率超过图像捕捉元件的固有分辨率。这可以在卫星（或其某个部件）移动对应于像素的几分之一的量的情况下实现，从而捕捉在空间上重叠的样本。在重叠区中，可以通过例如通过求平均而在与该区重叠的两个或更多较低分辨率样本的值之间进行外推来生成较高分辨率样本。较高分辨率样本尺寸是重叠区的尺寸，并且较高分辨率样本的值是外推值。

该构思在图1中示意性地图示出。考虑具有单个正方形像素P的卫星的情况，其从地面上的1km×1km的区域捕捉样本。如果卫星然后移动，使得被像素捕捉的区域在平行于像素P的边缘中的一个的方向上移位半公里，并且然后获取另一样本，则卫星于是具有覆盖宽度0.5km的重叠区P'的两个可用样本。随着此过程的发展，在移位的方向上以0.5km间隔获取样本，并且潜在地还执行垂直于原始移位偏移半个像素的连续扫描，有可能构建0.5 km×0.5 km而不是1km×1km分辨率的图像。将认识到的是本示例是出于说明性目的给出的——还有可能构建精细得多的分辨率，并且从更复杂的运动模式这样做。

最近，已提出超分辨率的概念以便在视频编码中使用。存在其两个潜在应用。第一个类似于上文所述情形——如果用户的照相机在帧之间在物理上移位对应于非整数像素（例如因为其是手持式照相机）的量，并且此运动可以被检测到（例如，使用运动估计算法），则有可能通过在其中两个帧的像素部分地重叠的像素样本之间进行外推而创建具有比照相机的图像捕捉元件的固有分辨率更高的分辨率的图像。

第二潜在应用是故意地降低每个帧的分辨率，并且在帧之间引入人为移位（与由于照相机的实际运动而引起的移位相反）。这使得能够降低每帧的位速率。参考图2，比方说照相机捕捉某个较高分辨率的像素P'（可能在初始量化级之后）。每个帧F中的该分辨率下的编码将招致某个位速率。在某个时间t处的第一帧F(t)中，编码器因此创建具有尺寸P的像素的帧的较低分辨率版本，并且在较低分辨率下将这些进行发射和编码。例如，在图2中，通过对四个较高分辨率像素的值进行平均来创建每个较低分辨率像素。在后续帧F(t+1)中，编码器做同样的事，但是光栅移位较低分辨率像素中的一个的几分之一，在所示的示例中例如在水平和垂直方向上的半个像素。在解码器处，然后可以通过在两个帧的较低分辨率样本的重叠区之间进行外推来再次地重新创建较高分辨率像素尺寸P'。更复杂的移位模式也是可能的。例如，该模式可在第一帧中的第一位置处开始，然后使光栅在第二帧中水平地移位半个（较低分辨率）像素，然后使光栅在第三帧中在垂直方向上移位半个像素，然后在第四帧中在水平方向上返回半个像素，然后在垂直方向上返回以从第一位置起重复该循环。在这种情况下，存在四个样本可用于在解码器处针对要重构的每个较高分辨率像素而在该四个样本之间进行外推。

发明内容

本发明的实施例接收包括多个帧的视频信号作为输入，每个帧包括多个较高分辨率样本。针对帧中的各每一个，生成各帧的多个不同投影。每个投影包括表示在较低分辨率下的各帧的多个较低分辨率样本，其中，不同投影的较低分辨率样本表示各帧的较高分辨率样本的不同但重叠的群组。通过对各帧中的每一个的投影进行编码来对视频信号进行编码。

本发明的另外的实施例接收包括多个帧的视频信号，每个帧包括多个不同投影，其中，每个投影包括多个较低分辨率样本。不同投影的较低分辨率样本表示各帧的不同但重叠的部分。通过对各帧中的每一个的投影进行解码来将视频信号解码。生成表示在较高分辨率下的各帧中的每一个的较高分辨率样本。对于这样生成的每个较高分辨率，这是通过从来自各帧的不同投影的较低分辨率样本中的一些之间的重叠区形成较高分辨率样本而完成的。在从投影生成之后在较高分辨率下将视频信号输出到屏幕。

可以将各种实施例体现为编码系统、解码系统或将在编码器或解码器侧运行的计算机程序代码，或者可实施为方法。可在计算机可读介质上体现计算机程序。计算机可读可以是有形计算机可读存储介质。

附图说明

为了更好地理解各种实施例并示出其如何可以付诸实现，以示例的方式对附图进行参考，在所述附图中：

图1是超分辨率方案的示意性表示，

图2是超分辨率方案的另一示意性表示，

图3是通信系统的示意性框图，

图4是编码器的示意性框图，

图5是解码器的示意性框图，

图6是编码系统的示意性表示，

图7是解码系统的示意性表示，