[发明专利]停止码容忍的图像压缩神经网络

说明书

用于图像压缩和重构的方法、系统和设备，包括在计算机存储介质上编码的计算机程序。接收到生成输入图像的编码表示的请求。然后生成输入图像的编码表示。该编码表示在每个迭代时包括各自的二进制代码集。从初始二进制集生成用于迭代的二进制代码集包括：对于在任何先前迭代期间已被掩蔽的任何图块，掩蔽该图块。对于在任何先前迭代期间尚未被掩蔽的任何图块，做出关于当从先前迭代中的二进制代码重构时的图块的重构误差是否满足误差阈值的确定。当重构质量满足误差阈值时，掩蔽该图块。

背景技术

本说明书涉及使用神经网络压缩和重构图像。

神经网络是使用一层或多层非线性部件针对接收到的输入预测输出的机器学习模型。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中的下一层(即下一个隐藏层或输出层)的输入。网络的每一层根据相应的参数集的当前值从接收到的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是一种接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以在计算当前时间步长的输出时使用来自先前时间步长中的网络的部分或全部内部状态。递归神经网络的一个示例是长短期(LSTM)神经网络，其包括一个或多个LSTM存储块。每个LSTM存储块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，允许单元存储该单元的先前状态，例如，用于生成电流激活或待要提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了使用停止码容忍(SCT)(stop-code tolerant)的方法利用递归卷积神经网络进行图像压缩和高质量重构的技术。

通常，在本说明书中描述的主题的一个创新方面可以体现在以下方法中，该方法包括使用停止码容忍的方法利用卷积神经网络压缩和重构图像的动作。该方面的其他实施例包括记录在一个或多个计算机存储装置上的相应的计算机系统、设备和计算机程序，每个计算机存储装置被配置为执行所述方法的动作。对于一个或多个要配置为执行特定操作或动作的计算机的系统，意味着该系统已在其上安装了软件、固件、硬件或它们的组合，这些软件、固件、硬件或它们的组合在操作中导致系统执行该操作或动作。对于将被配置为执行特定操作或动作的一个或多个计算机程序，意味着该一个或多个程序包括指令，该指令在由数据处理设备执行时使该设备执行该操作或动作。

前述和其他实施例可各自可选地独立地或组合地包括一个或多个以下特征。特别地，一个实施例包括以下所有特征的组合。

可以接收生成输入图像的编码表示的请求。然后可以生成输入图像的编码表示。编码表示可以包括在每个迭代中的相应的二进制代码集。每个二进制代码集包括用于输入图像中的每个图块的相应的二进制代码子集。生成编码表示可以包括在每个迭代中使用编码器神经网络处理用于迭代的编码器输入，以及生成用于该迭代的二进制代码集。编码器神经网络可以被配置为处理编码器输入以生成用于迭代的初始二进制代码集。初始二进制代码集可以包括用于多个图块中的每个图块的相应的初始二进制代码子集。可以从初始二进制代码集生成用于迭代的二进制代码集。生成用于迭代的二进制代码集可以包括：对于在迭代中的任何先前迭代期间已经被掩蔽的任何图块，通过将二进制代码集中的用于图块的每个二进制代码设置为零来掩蔽该图块；对于在先前迭代中的任一个迭代期间尚未被掩蔽的任何图块，确定当从先前迭代中的二进制代码重构时的图块的重构误差是否满足误差阈值；当重构质量满足误差阈值时，通过将二进制代码集中的用于图块的每个二进制代码设置为零来掩蔽该图块。

生成用于迭代的二进制代码集可以包括：当重构误差不满足误差阈值时，避免修改用于图块的初始二进制代码。

可以通过使用数据压缩算法压缩编码表示中的二进制代码来压缩输入图像。

数据压缩算法可以是经训练的熵代码化器。

已压缩的输入图像可以被发送到解码器系统用于对该输入图像的解压缩。编码器神经网络可以是具有二值化器输出层的递归神经网络。

用于第一迭代的编码器输入可以是输入图像。