[发明专利]形成视频流的方法及图像处理单元

说明书

本发明涉及形成视频流的方法及图像处理单元。公开了用于基于由相机捕捉到的场景的图像来形成视频流的方法。该方法包括：编码器基于由相机捕捉到的图像对图像帧进行编码，以形成视频流的编码部分；确定样本图像帧的运动长度，样本图像帧是编码部分中的编码后的图像帧中的一个，运动长度指示样本图像帧相对于时间上在先的图像帧的、相机与场景之间的相对运动量；基于编码器的运动矢量搜索范围来设定运动长度阈值；将所确定的运动长度与所设定的运动长度阈值进行比较；基于比较的结果，对视频流的至少调整部分的所选时间性帧距离进行调整，其中调整部分被包括在编码部分中或者在时间上稍后的编码部分中。还公开了被配置为形成视频流的图像处理单元。

技术领域

本发明涉及视频编码领域，并且更具体地涉及如何形成视频流以用于编码。

背景技术

在诸如网络相机监控系统的数字视频系统中，使用各种视频编码方法在传输和/或存储之前对视频序列进行压缩。在许多数字视频编码系统中，使用两种主要模式来对一系列视频帧中的视频帧进行压缩：帧内模式以及帧间模式。在帧内模式中，通过预测、变换和熵编码并利用单个帧的给定信道中的像素的空间性冗余，来对亮度和色度信道进行编码。编码后的帧被称为帧内帧(intra-frames)，并且也可被称为I帧。在帧内帧中，像素块(也称为宏块、编码单元或编码树单元)以帧内模式被编码，这意味着参考相同图像帧内的相似块来对像素块进行编码，或者对像素块进行没有任何参考的原始编码。帧间模式反而是利用单独的帧之间的时间性冗余，并且依赖于运动补偿预测技术，该运动补偿预测技术通过针对所选像素块对从一帧到另一帧的像素运动进行编码，从而根据一个或多个先前帧来对帧的部分进行预测。编码后的帧被称为帧间帧(inter-frames)，并且可以被称为P帧(前向预测帧)，P帧可以参考解码顺序下的先前帧，或B帧(双向预测帧)，B帧可以参考两个或更多个先前解码的帧并且可以具有用于预测的帧的任意显示顺序关系。在帧间帧中，像素块可以以帧间模式被编码，这意味着参考先前解码的图像中的相似块对像素块进行编码，或者像素块可以以帧内模式被编码，这意味着参考相同图像帧内的相似块来对像素块进行编码或者对像素块进行没有任何参考的原始编码。

帧间帧通常比帧内帧需要更少的比特来表示图像。类似地，帧间帧的帧间编码块需要比帧内编码块更少的比特位。因此，为了节约存储空间和传输带宽，使用帧间帧并且在帧间帧中使用少量的帧内编码块是有益的。

当要对像素块进行帧间编码时，搜索参考帧中充分相似的像素块。如前所述，参考帧是先前被编码并解码的图像帧。由于参考帧中的块被认为与当前图像中的将被编码的块足够相似而被用作参考块，因此当前图像帧中的块与参考帧中的潜在可能的块之间的差值必须低于预定的相似度阈值。该差值可以例如被表示为绝对差值的合计值SAD。通过获取当前图像帧中的像素与参考帧中的比较块中的对应像素之间的绝对差值并且针对块中的所有像素计算所有这种差值的合计值，来计算SAD。因此，SAD可以被表示为如下：

这里，N是所研究的块中的像素的数量，V_c,n是当前图像帧中的像素n的像素值，并且V_r,n是参考帧中的对应像素n的像素值。

如果搜索从其开始的块被认为与将被编码的块相似，则将该第一块用作参考块，并且计算出运动矢量，该运动矢量用于描述图像帧中的将被编码的块相比于参考帧中的参考块位移了多少。