[发明专利]使用神经网络的图块化图像压缩

权利要求书

1.一种方法，包括：

通过包括一个或多个计算机的图像编码器系统，接收生成已经被划分为多个图块的输入图像的编码表示的请求；以及

通过所述图像编码器系统，生成所述输入图像的所述编码表示，其中，所述编码表示包括用于所述多个图块中的每一个图块的相应的二进制代码集，以及其中，所述生成包括：针对所述多个图块中的特定图块：

使用空间上下文预测神经网络来处理所述特定图块的上下文，所述空间上下文预测神经网络已经被训练以处理输入图块的上下文以生成作为所述输入图块的预测的输出图块，其中，所述上下文包括所述输入图像中与所述特定图块相邻的一个或多个图块；

通过处理所述特定图块的所述上下文来确定所述特定图块与由所述空间上下文预测神经网络生成的所述输出图块之间的残差图像；以及

通过使用编码器神经网络对所述残差图像进行编码来生成所述特定图块的所述二进制代码集。

2.根据权利要求1所述的方法，进一步包括：

通过使用数据压缩算法压缩所述编码表示中的所述二进制代码来压缩所述输入图像。

3.根据权利要求2所述的方法，其中，所述数据压缩算法是经训练的熵编码器。

4.根据权利要求2或3中任一项所述的方法，进一步包括：

将已压缩的输入图像传输给图像解码器系统，以对所述输入图像进行解压缩。

5.根据权利要求1至4中任一项所述的方法，其中，所述编码器神经网络是递归神经网络，所述递归神经网络被配置为在多个时间步长中的每个时间步长中，通过以下操作来对所述残差进行编码：

接收所述时间步长内的编码器输入；以及

处理所述编码器输入以生成所述时间步长内的二进制代码集。

6.根据权利要求5所述的方法，其中，所述多个时间步长中的第一时间步长内的所述编码器输入是所述残差图像。

7.根据权利要求5或6中任一项所述的方法，其中，所述多个时间步长中在所述第一时间步长之后的时间步长内的所述编码器输入是(i)所述残差与(ii)由解码器神经网络在前一时间步长从所述二进制代码集生成的重构之间的临时残差图像，其中，所述解码器神经网络是递归神经网络，所述递归神经网络被配置为：在所述多个时间步长中的每个时间步长中接收包括所述时间步长内的所述二进制代码集的解码器输入，以及处理所述解码器输入以在所述时间步长中生成所述编码器输入的重构。

8.根据权利要求7所述的方法，其中，生成所述特定图块的所述二进制代码集包括：在所述多个时间步长中的每个时间步长中：

根据所述时间步长内的所述编码器输入的所述重构，确定在从已经在所述时间步长中和任何先前的时间步长中生成的所述二进制代码重构时是否已经满足所述特定图块的质量阈值。

9.根据权利要求8所述的方法，其中，生成所述特定图块的所述二进制代码集包括：

响应于确定已经满足所述质量阈值，使用已经生成的二进制代码作为所述输入图像的所述编码表示中的所述特定图块的所述二进制代码集。

10.根据权利要求1至6中任一项所述的方法，其中，生成所述特定图块的所述二进制代码集包括：在多个时间步长中的每个时间步长中：

确定在从在当前时间步长中生成的所述二进制代码集重构所述特定图块时是否已经满足所述特定图块的质量阈值；以及

响应于确定满足所述质量阈值，使用在所述当前时间步长中针对所述特定图块生成的所述二进制代码集作为所述输入图像的所述编码表示中的所述特定图块的所述二进制代码集。

11.根据权利要求1至10中任一项所述的方法，其中，当所述特定图块不在所述输入图像的左边框或顶部边框时，所述上下文是在所述输入图像中的所述特定图块左边和上方的相邻图块。