[发明专利]用于可缩放的帧速率上转换的方法和设备

说明书

背景技术

现代的帧速率上转换（FRUC）方案通常基于时间运动补偿的帧内插（MCFI）。此任务中的重要挑战是反映真实运动的运动向量的计算、在连续帧之间的对象运动的实际轨迹。典型的FRUC方案使用基于块匹配的运动估计（ME），由此通过剩余帧能量的最小化而获得结果，但是不幸的是，它不反映真实运动。

因此可存在对帧速率上转换的新方法的需要。

附图说明

当结合附图考虑时，通过参考下文的详细描述可容易地得到本文描述的实施例和其很多附带优势的理解，其中：

图1是根据示范性和非限制性实施例的流程图；

图2是根据示范性和非限制性实施例的流程图；

图3是根据示范性和非限制性实施例的流程图；

图4是根据示范性和非限制性实施例的流程图；

图5是根据示范性和非限制性实施例的对连续帧的差值和（SAD）处理的图示；

图6A-图6B是根据示范性和非限制性实施例的遮挡处理的图示；

图7是根据示范性和非限制性实施例的装置的图表。

具体实施方式

根据本文描述的各种示范性实施例，提供了用于提高复杂性可缩放帧速率上转换（FRUC）的方法，特别是用于视频序列的2X帧速率上转换。

现代的帧速率上转换方案很大程度上基于时间运动补偿的帧内插（MCFI）。此任务中的一个最重要的挑战是反映真实运动的运动向量的计算，真实运动是在连续帧之间的对象运动的实际轨迹。如上所述，典型的FRUC方案使用基于块匹配的运动估计（ME）来最小化剩余帧的能量并且不反映真实运动。根据各种示范性和非限制性实施例，本文描述了允许复杂性可缩放性并且利用双向块匹配搜索的迭代方案。这样的方法增加了在运动检测的每个迭代处的所计算的运动向量的准确性。如以下更完整描述的，示范性实施例采用迭代搜索而改变图像块（包括帧的一部分）的大小。

在一个示范性实施例中，过程开始于相对大的帧块大小来找到帧内的全局运动并且进行到用于本地运动区域的更小的块大小。为避免与内插的帧上的遮挡所造成的空洞有关的问题，使用双向运动估计。这显著地降低了使用所计算的运动向量的帧内插的复杂性。

通过匹配当前帧中的块与先前帧中的对应块以及后续帧中的对应块，进行典型的块匹配运动估计。与此相反，通过识别具有在计算的内插和/或中间帧中的关联的运动向量的块并且比较所识别的块与先前帧和后续帧两者中的类似块（从该先前帧和该后续帧计算内插帧），进行双向运动估计（ME）。在双向运动估计的背后是帧间运动是一致和线性的假设。

参考图1，图示了示范性和非限制性实施例的流程图。以缩略形式讨论的各种步骤在提交于______的美国专利申请第_________号（Gilmutdinov等人）中更详细地描述，通过引用将其内容并入本文。

请注意，图示的示范性处理的输入是两个连续帧F_t-1、F_t+1，其中t代表形成输出的内插帧F_t的中间位置。根据这样的示范性实施例，计算并且插入内插帧有效地加倍引起2x帧速率上转换的文件中的帧数量。如对于本领域的技术人员会是明显的，本文讨论的过程步骤可应用于其中可对于不同的FRUC倍数重复一次或多次帧内插的实例。

在步骤10处，执行帧预处理。帧预处理可涉及移除如可出现在帧或多个帧中的黑色边缘并且扩展每个帧来适应最大块大小。在示范性和非限制性实施例中，最大的块大小被选择为二（2）的幂。帧扩展可以用任何合适的方式来执行。例如，可填充帧来适应块大小。在示范性实施例中，由块大小均匀分割帧的尺寸。如本文所使用的，“帧”指代形成视频序列的一系列图像中的单个图像而“块”指代具有可识别的运动向量的帧的一部分（其中运动是可检测的）。

在步骤12处，执行分级运动估计。参考图2，图示了图示分级运动估计的步骤的扩展流程图。请注意，到步骤20的输入再次是两个连续帧F_t-1、F_t+1。在步骤20处，执行初始双向运动估计。

参考图3，详细图示了步骤20的初始双向运动估计。在步骤30处，两个连续帧F_t-1、F_t+1形成输入。接着，在步骤32处，