[发明专利]基于知识重组的语义图像压缩方法

说明书

一种基于知识重组的语义图像压缩方法，包括下列步骤：1)获得预训练的编解码器结构模型以及无标签数据；分别选取图像压缩以及语义分割的预训练同构模型。语义分割模型对输入图像进行逐像素类别预测，图像压缩模型对数字图像进行压缩和解压；2)模型重组；对预训练模型的编码器进行零填充重组得到共享编码器，复用预训练模型的解码器形成多路解码的结构。该重组模型在功能上等价于多个独立模型，能够执行语义分割和图像压缩任务。3)迭代剪枝减小模型规模；基于余弦相似度计算重组模型各层参数的相似度，对相似度最高的卷积核进行剪枝。每轮剪枝后，以无标签数据作为重组模型的输入，以预训练模型的预测结果作为学习目标，进行多任务训练直至收敛。重复步骤3)直至重组模型性能和参数规模达到部署要求。最终的重组模型能够对图像进行压缩，同时可以根据需求从编码中解码原图或者解码语义，两个任务可独立执行。

技术领域

本发明属于数字图像压缩领域，针对终端设备性能有限、模型训练代价过大的问题，提出的一种利用现有的图像压缩模型以及语义分割模型进行知识重组，从而得到多任务模型的方法。

背景技术

神经网络剪枝是一类通过减少网络参数来缩减网络规模的技术。通常手工设计的神经网络是过参数化的，大量的参数冗余不利于在低功耗设备上的部署。剪枝可以使得网络规模减少到一个可接受的规模，对整体性能影响较小。

基于深度学习的图像压缩是为解决数字图像中的信息冗余的一类方法。图像压缩系统由编码器、量化器、解码器组成。编码器将数字图像的像素信息转换为紧凑的中间表达，量化器将连续的编码值转换到离散的值，而解码器则从图像压缩码中重建出原始图像。由于神经网络易于设计，计算规模可控性强，因此适合部署到不同的终端设备。

语义压缩是图像解析问题的一种，通过对逐个像素点进行分类，获得输入图像的逐像素语义类别。全卷积编解码器是一类常见的语义分割结构，编码器对图像进行解析，获得空间尺寸更小的编码，解码器将编码扩展到原图像尺寸，并对每个像素生成不同类的概率值。该结构能够端到端地进行训练。

知识重组是一类利用预训练的模型来构建新模型的算法，其核心是将现有网络的知识转移到另一个网络中。通过知识重组可以最大化利用预训练模型，减少训练代价，并取得更好的性能。

由于存储需要，设备上的图像一般以压缩编码的形式存在，当对图像进行语义分割时，编码首先需要经过图像解码，获得原图像后再利用常规的语义分割方法获得语义信息，设备频繁解码造成了大量计算资源耗费。

发明内容

本发明针对现有技术条件下模型训练代价较大、终端设备性能有限的问题，提出了一种结合语义分割和图像压缩的方法。本方法通过重组现有的预训练模型来获得新模型，训练过程中不需要人工的数据标注。

一种基于知识重组的语义图像压缩方法，包括如下步骤：

1)获得预训练的编解码器结构模型以及无标签数据；

分别选取用于图像压缩和语义分割任务的同构编解码器模型。语义分割模型对输入图像进行逐像素分类，图像压缩模型对数字图像进行压缩和解压。本方法使用无标签数据进行训练，即使用预训练模型对输入图像进行预测，将预测结果作为学习目标。

2)模型重组；