[发明专利]用于对帧序列进行视频编码的方法和编码器

说明书

技术领域

本发明涉及视频编码的领域。具体地，其涉及用于对帧序列进行编码的方法和编码器。

背景技术

诸如在H.264或更一般地说H.26x标准之下的视频编码之类的已知视频编码方法允许在视频帧的区域中的局部的压缩级别的修改。例如，能够通过调整用于表示对象的感兴趣区域(ROI)的压缩级别来改善图像品质。这也可以应用于其中存在移动对象的视频序列。

这是US8150173B2的主题，其例如教导了，对于具有移动对象的视频序列，可以为每个帧定义一个ROI。替换地，可以指定ROI的起始位置和尺寸，并且指定的ROI然后可以跟踪在视频序列中对象的运动。

为了减少感兴趣的对象上或其周围的压缩伪影，ROI通常不仅仅包括感兴趣的对象，而且也包括背景的一部分。当对象移动时，背景的该部分在每个帧中不同。结果，当在对象以横荡的方式移动的情况下对象不时地若干次经过时，对背景的特定部分进行编码所使用的压缩级别发生变化。这将显著地增加编码视频序列所需要的比特率，这是因为需要利用不同的压缩级别将背景的特定部分重新编码多次。因此，存在改善的需要。

发明内容

鉴于以上所述，因而本发明的目的是克服或至少减轻以上讨论的问题。具体地，目的是提供编码方法和编码器，其减少在对象经过时将背景重新编码若干次的需要。

根据本发明的第一方面，通过对帧序列进行视频编码的方法来实现以上目的，该方法包括：接收描绘移动对象的帧序列，序列包括与第一时间点相对应的第一帧、与之后的第二时间点相对应的第二帧以及与居于第一和第二时间点之间的一个或多个时间点相对应的一个或多个中间帧；预测在第一时间点和第二时间点之间移动对象在帧序列中的移动；基于预测的移动对象的移动，定义帧中的感兴趣区域，该感兴趣区域在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象；以及使用用于定义在感兴趣区域的哪个部分中使用哪个编码质量的公共编码质量模式，来对感兴趣区域中的第一帧以及感兴趣区域的至少一子集中的一个或多个中间帧进行编码，其中对于特定中间帧，感兴趣区域的子集在所预测的对象在与特定中间图像帧相对应的时间点和第二时间点之间的全部移动期间覆盖对象。

利用以上方法，对象的移动被预测，并且用于定义当对第一帧以及一个或多个中间帧中的每一个进行编码时所使用的单个ROI。与现有技术相反，ROI因此在各帧之间不变化。

ROI被定义为在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象。换句话说，预计定义的ROI覆盖第一帧以及一个或多个中间帧中的对象。因此预计在第一帧中以及在一个或多个中间帧中在ROI内发现移动对象和在移动对象附近的背景像素。

当对第一帧以及一个或多个中间帧进行编码时，相对于ROI、或至少相对于其子集使用公共(即，相同的)编码质量模式。这意味着，对于落入ROI内的背景的特定部分，将一直使用相同的编码质量，或在对象经过时最多将其改变一次，由此减少对重新编码的需要。

例如，如果对于第一帧以及对于一个或多个中间帧中的每一个相对于整体ROI使用公共编码质量模式，则不需要进行ROI的背景部分的重新编码。根据其它示例，当对一个或多个中间帧进行编码时，向ROI的子集应用公共编码质量模式。对于特定中间帧，在这样的情形中，子集可以在所预测的对象在直到第二时间点的剩余移动期间覆盖对象，即，预计子集覆盖直到第二时间点、在特定中间帧以及每个随后中间帧中的对象。在这种情况下，在对象经过时，最多需要将背景的特定部分重新编码一次。

如在本文所使用的，帧序列指的是图像帧的序列。应当注意，例如，随着帧序列被摄像机捕获，典型地顺序地接收帧序列。

如在本文所使用的，移动对象的移动的预测大体上指的是基于迄今为止已经接收到的帧来预测移动。典型地，这包括与在第一时间点之前的时间点相对应的帧。其也可以包括该第一帧。然而，在执行预测时，典型地尚未接收到一个或多个中间帧。通过在接收到一个或多个中间帧之前启动移动的预测，可以减少编码处理中的等待时间。

如在本文所使用的，通过措词“在第一时间点和第二时间点之间”所定义的时间间隔包括第一时间点和与一个或多个中间帧相对应的时间点。然而，其不一定包括第二时间点。在该定义的情况下，因而预计所定义的在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象的ROI会覆盖在第一帧以及一个或多个中间帧中的每一个中、但是不一定在第二帧中的对象。