[发明专利]基于知识重组的语义图像压缩方法

权利要求书

1.一种基于知识重组的语义图像压缩方法，包括下列步骤：

1)获得预训练的编解码器结构模型以及无标签数据；

分别选取用于图像压缩和语义分割任务的编解码器结构模型；语义分割模型对输入图像进行逐像素分类，图像压缩模型对数字图像进行压缩和解压；使用无标签数据进行训练，即使用预训练模型对输入图像进行预测，将预测结果作为学习目标；

2)模型重组；

对预训练模型的编码器参数进行零填充，将大小为O×I×H×W的参数填充为O×∑_tI_t×H×W，使其能够接收所有预训练模型的输入，其中t表示预训练模型的序号；最后组合多个零填充参数，获得大小为∑_tO_t×∑_tI_t×H×W的重组参数；非零参数经过重组后依次成对角线排布，其余位置均为零；对多个模型的编码器部分进行逐层重组，得到重组模型；重组模型包括一个共享的重组编码器和两路解码器；解码器能够独立工作，分别进行语义分割和图像解压；重组模型与多个预训练模型功能等价；

3)迭代剪枝减小模型规模；

基于余弦相似度计算每一层参数之间相似度，其中A和B分别表示参数向量，·运算表示向量内积，||||表示向量的模长；取相似度最高的K对参数进行剪枝，其中K为预先设定的剪枝规模；

利用预训练模型在无标签数据上的预测结果作为目标，进行多任务训练，压缩分支损失函数为均方误差语义分割分支损失函数为交叉熵L_s＝-∑_x∈χp(x)logq(x)，编码层采用量化函数Q(x)＝Round(x)；最终的损失函数为L＝L_c+αL_S，其中α用于控制两者权重；零填充参数需要参与训练，逐渐转化为有效参数，提升模型性能；重复步骤3)直至重组模型性能和参数规模达到部署要求；最终的重组模型能够执行图像压缩，同时可以根据需要从编码中解码原图或者解码语义，两个任务可独立执行。