[发明专利]使用神经网络的图块化图像压缩

说明书

用于图像压缩和重构的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。一种图像编码器系统接收生成已经被划分为多个图块的输入图像的编码表示的请求，并且生成所述输入图像的所述编码表示。为了生成所述编码表示，所述系统使用空间上下文预测神经网络来处理每个图块的上下文，所述空间上下文预测神经网络已经被训练以处理输入图像的上下文并且生成作为所述输入图块的预测的输出图块。所述系统通过处理所述特定图块的所述上下文来确定所述特定图块与由所述空间上下文预测神经网络生成的所述输出图块之间的残差图像，并且通过使用编码器神经网络对所述残差图像进行编码来生成所述特定图块的二进制代码集。

技术领域

本说明书涉及使用神经网络来压缩和重构图像。

背景技术

神经网络是采用一层或多层非线性单元来针对接收到的输入预测输出的机器学习模型。除了输出层之外，一些神经网络包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即，下一隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值通过接收到的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从输入序列生成输出序列的神经网络。具体地，递归神经网络可以在计算当前时间步长的输出时使用来自先前时间步长的网络的部分或全部内部状态。递归神经网络的示例是包括一个或多个长短期记忆(LSTM)存储块的LSTM神经网络。每个LSTM存储块可以包括一个或多个单元(cell)，这些单元分别包括输入门、遗忘门和输出门，其允许单元存储单元的先前状态，例如，以用于生成电流激活或者被提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了用于使用图块化深度网络进行图像压缩和重构的技术。这些技术大体上涉及将输入图像分割为图块，使用空间上下文来做出对每个图块内的像素值的初始预测以及对残差进行渐进编码。

大体上，本说明书中描述的主题的一个创新方面可以以包括图像压缩和重构的动作的方法来体现。该方面的其他实施例包括可以记录在一个或多个计算机存储设备上的对应计算机系统、装置和计算机程序，每个计算机系统、装置和计算机程序都被配置为执行该方法的动作。一个或多个计算机的系统被配置为执行特定操作或动作意味着该系统已经在其上安装了软件、固件、硬件或其组合，其在操作中使该系统执行操作或动作。一个或多个计算机程序被配置为执行特定操作或动作意味着一个或多个程序包括在由数据处理装置执行时使该装置执行操作或行动的指令。

可选地，前述和其他实施例可以分别单独地或组合地包括以下特征中的一个或多个。具体地，一个实施例组合地包括所有以下特征。

一种图像编码器系统可以接收生成已经被划分为图块的输入图像的编码表示的请求。该图像编码器系统然后生成输入图像的编码表示。编码表示包括用于每个图块的相应的二进制代码集。生成特定图块的编码表示可以包括：使用空间上下文预测神经网络来处理特定图块的上下文，该空间上下文预测神经网络已经被训练以处理输入图块的上下文以生成作为输入图块的预测的输出图块。上下文可以包括输入图像中与特定图块相邻的一个或多个图块。可以通过处理特定图块的上下文来确定特定图块与由空间上下文预测神经网络生成的输出图块之间的残差图像，并且可以通过使用编码器神经网络对残差图像进行编码来生成特定图块的二进制代码集。

可以通过使用数据压缩算法压缩编码表示中的二进制代码来压缩输入图像。该数据压缩算法可以是经训练的熵编码器。可以将已压缩的输入图像传输给图像解码器系统以对输入图像进行解压缩。