[发明专利]使用先前计算得到的运动信息的视频编码

说明书

背景

随着在诸如因特网等的网络上播放流音频和视频的日益普及，存在着对将从服务器传输到客户机的数据进行优化，以使得即使在回放期间的网络条件不稳定也能最大化客户机的体验的需求。对客户机的体验进行优化涉及选择对视频回放的音频和视频部分进行编码的质量水平，以使得在保持视频内容的质量的同时可以不间断地传输和重构视频。

质量水平一般地由为输入流的编码音频或视频部分所指定的位速率来指示。较高的位速率一般地指示关于原始音频或视频的较大的信息量被编码和保留，且因此在视频回放期间将呈现原始输入音频或视频的更精确的再现。相反，较低的位速率指示关于原始音频或视频的较少信息被编码和保留，且因而在视频会放期间将呈现原始输入音频或视频的较不精确的再现。

一般地，基于若干因素来指定用于对音频和视频中的每一个进行编码的位速率。第一因素是在服务器和客户机之间的网络条件。可以传输高数据量的网络连接指示可为随后通过该网络连接传输的输入视频指定较高的位速率。第二因素是所需的启动等待时间。启动等待时间是视频回放工具在第一次启动时经历的由于必须接收、处理和缓冲的大量数据引起的等待时间。第三因素是对假信号的容许度。假信号是指在视频回放时由于数据丢失而必须停止的情况。在大多数情况中，任何量的启动等待时间或假信号是不可容忍的，且因而期望优化指定的位速率，以使得最小化或消除启动等待时间和假信号。

当前可获得的商业流媒体系统依赖于多位速率(MBR)编码来执行编码率控制。在MBR编码中，源视频内容以不同的编码率被编码成备选的位流，且通常被存储在服务器处的同一媒体文件中。然后，这允许按片段或块根据变化的网络条件以对应于不同的编码率的变化的质量水平来对内容进行流传输，通常在各片段之间使用位速率切换位流。

视频编码中的运动估计和补偿

已经开发了用于将要压缩位速率的视频编码成所需位速率的众多技术。这样的技术包括帧内压缩技术(其中帧被压缩成静止图像)和帧间压缩技术(其中从一个或多个其他帧来对帧进行预测或估计)。帧内压缩往往涉及对数据的频率变换，然后是有损和无损压缩。帧间压缩可以包括运动估计。

运动估计是用于估计在各帧之间运动的过程。用于视频的运动估计被称为不适定问题，这是因为在所观看的场景内的运动以3维发生，但是视频的相继的帧是3D场景到2维图像平面的投影。在一种常见技术中，使用运动估计的编码器尝试将当前的帧中的像素块与另一帧(被称为参考帧)中的搜索区域中的相似像素块(图片元素或样本)进行匹配。在编码器在参考帧中的搜索区域中找到完全的或“足够接近的”匹配时，编码器将各块的位置的改变参数化成运动数据(例如运动向量)。

相反，运动补偿是使用运动数据从参考帧来对帧进行重构的过程。在一种常见技术中，编码器或解码器通过将当前帧的运动数据应用到参考帧来重构当前帧，这创建了预测帧。编码器可以使用与用于帧内压缩(例如，有损和无损压缩)相同的技术来压缩预测帧与当前帧的原始版本之间的差(有时被称为残差)。照相机视频的总体位速率在很大程度上取决于残差的位速率，与运动数据的位速率相比，残差的位速率可以在总体位速率中占支配地位。如果残差是简单的(即，由于根据某种准则造成完全的或良好的匹配的运动估计)，或者如果有损压缩极大地降低了残差的复杂性，则残差的位速率是低的。另一方面，复杂残差的位速率(即，对于运动估计不能找到良好匹配的那些)可以是较高的，这取决于被应用来降低残差的复杂性的有损压缩的程度。

概述

下列的详细描述涉及(经由方法、设备和系统实现的)用于例如在多位速率和多核应用中使用先前计算得到的运动信息的视频编码的技术。在这些各种应用中，视频编码器将原始视频内容和先前计算得到的运动信息两者用作输入。然后，视频编码器可以应用基于先前计算得到的运动信息的运动补偿来编码原始视频内容的预测帧。对于各种应用，这允许视频编码器更高效地应用运动估计和补偿。