[发明专利]编解码器速率失真补偿降采样器

说明书

一种系统，其包括基于机器学习(ML)模型的视频降采样器，该视频降采样器配置为接收具有第一显示分辨率的输入视频序列，并且将该输入视频序列映射到具有第二显示分辨率的较低分辨率视频序列，该第二显示分辨率低于所述第一显示分辨率。该系统还包括基于神经网络(基于NN)的代理视频编解码器，该代理视频编解码器被配置成将较低分辨率视频序列变换成经解码的代理比特流。另外，该系统包括升采样器，其配置为使用经解码的代理比特流来产生输出视频序列。

背景技术

降采样是内容流系统中的操作，以产生不同类型的客户端设备可用的比特率和分辨率方面的不同表示。在现代流系统中，流服务器在分辨率和比特率方面提供不同的编码表示，使得客户端设备可以动态地下载与其回放上下文(例如，显示大小和网络条件)最佳匹配的表示。为了提供这样的表示，流服务器需要在编码之前将源视频降采样到不同的分辨率。降采样可以用在感知上不是最佳的滤波器来执行。

附图说明

图1示出了根据一个实施方式的示例性视频处理系统的图，该示例性视频处理系统包括基于训练的机器学习(Machine Learning，ML)模型的编解码器速率失真(ratedistortion)补偿降采样器；

图2示出根据一个实施方式的用于训练图1所示的基于ML模型的编解码器速率失真补偿降采样器的训练流水线系统的图；

图3描绘根据各种实施方案的图1中所示的基于ML模型的编解码器速率失真补偿降采样器的替代示范性架构；

图4示出了一个流程图，其概述了根据一个实施方式的用于训练基于ML模型的编解码器速率失真补偿降采样器的示例性方法；

图5A示出了根据本发明构思的一个方面的、描述了由图1的视频处理系统实现的示例性条件降采样网络的图；以及

图5B示出了根据本发明构思的另一方面的、描述了由图1的视频处理系统实现的示例性条件降采样网络的图。

具体实施方式

以下描述包含与本公开中的实施方式有关的具体信息。本领域技术人员将认识到，本公开可以以与本文具体讨论的方式不同的方式来实现。本申请中的附图及其详细描述仅针对示例性实施方式。除非另外指出，否则附图中的相同或相应的元件可以由相同或相应的附图标记表示。此外，本申请中的附图和图示通常不是按比例描绘的，并且不旨在对应于实际的相对尺寸。

本申请公开了用于训练和利用基于机器学习(ML)模型的编解码器速率失真补偿降采样器的系统和方法，其克服了现有技术中的缺点和不足。诸如双线性、三次或Lanczos滤波器的滤波器在感知上不是最佳的，并且没有考虑源内容将在降采样之后被编码。为此，本申请公开了一种感知上优化的降采样方法，包括1)学习的降采样器，2)模拟标准兼容图像或视频编解码器的代理视频编解码器，3)时间感知损失函数，4)允许不同损失函数之间的推理时间内插的调节机制，以及5)用于任意缩放的机制。本申请中公开的降采样解决方案仅应用于源内容。因此，这些解决方案与现有的图像或视频编码流水线兼容，并且不需要在客户端侧进行任何改变，同时在感知质量度量方面提供改进的速率失真性能。此外，在一些实施方式中，本发明的编解码器速率失真补偿降采样解决方案可以被实现为自动化过程。

值得注意的是，如本申请中所定义的，术语“自动化”(“automation”)、“自动化的”(“automated”)和“使自动化”(“automating”)是指不需要人类用户参与的系统和过程，诸如人类编辑者或系统管理员。例如，尽管在一些实施方式中，人类系统管理员可以审查本文公开的系统和方法的性能，或者在以下讨论的条件降采样的情况下，可以提供用户定义的感知损失函数权重，但是人类参与是可选的。因此，在一些实施方式中，本申请中描述的过程可以在所公开的系统的硬件处理组件的控制下执行。