[发明专利]一种运算轻量化图像修复方法

说明书

本发明涉及计算机图形学与图像处理技术领域，涉及一种运算轻量化图像修复方法，包括以下步骤：一、构建粗糙网络，粗糙网络通过六层门控卷积和三层空洞门控卷积构建，在训练阶段，首先将输入图像降维，并与二值化遮罩层一同作为输入网络，中间使用空洞门控卷积对图像进行修复，最终粗糙网络的修复结果与源图像通过Wasserstein判别器进行比照，对可训练参数进行修正；二、构建精细网络，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出。本发明大量地减少参数与运算数量。

技术领域

本发明涉及计算机图形学与图像处理技术领域，具体地说，涉及一种运算轻量化图像修复方法。

背景技术

随着数据处理和电子工业的快速发展，人工神经网络在计算机视觉领域被广泛应用于自动驾驶、手机摄像等任务中，这类基于图像处理的任务具有快速、端到端保证图像清晰度的需求。汽车与手机在拍照过程中设备通常会进行比较大的位置变动，在变动过程中，图像很可能会出现撕裂、模糊等问题，运用图像修复技术保证图像的清晰度成为主要的技术手段。但现有的图像修复处理模型大部分是基于人工神经网络的，其所需的计算量高，超出边缘计算设备所能处理的运算量。为了提升自动驾驶、手机摄像拍照等功能的体验，对人工神经网络图像修复模型进行轻量化是必须采用的技术。在轻量化模型的过程中，现有的策略主要考虑削减神经网络层次数量，降低模型表现以期能够在边缘计算设备上运行。

然而，削减网络层次数量牺牲性能无法满足摄像机像素增长的需要，导致修复效果不佳，出现重影、内容错乱等问题。

发明内容

本发明的内容是提供一种运算轻量化图像修复方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种运算轻量化图像修复方法，其包括以下步骤：

一、构建粗糙网络，粗糙网络通过六层门控卷积和三层空洞门控卷积构建，在训练阶段，首先将输入图像I_gt降维，并与其对应的二值化遮罩层I_m一同作为输入网络，中间使用空洞门控卷积对图像进行修复，最终粗糙网络的修复结果I_c与源图像通过Wasserstein判别器进行比照，通过像素层级的L1损失和PatchGAN损失组成的联合损失来对可训练参数进行修正；

二、构建精细网络，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出I_rf。

作为优选，输入图像下采样后降维到512×512分辨率。

作为优选，轻量化Inception层次网络包括Inception轻量化模块，轻量化Inception网络模块以一个1×1的点卷积作为开始，将输入图像的C₁个通道数量转变为C₂通道数量，随后图像信息分流为两个分支，1×1通道处理上一阶段中卷积得到的n个通道，而3×3分支处理其余的通道；两条通道分别完成卷积后，将通道进行连接操作，重新得到通道数量为C₂的特征图，最终该特征图通过一次1×1的点卷积，得到最终的输出。

作为优选，粗糙网络中，门控卷积在网络的开始阶段和后阶段均为三层，中间三层为空洞门控卷积。

作为优选，精细网络中，从前向后依次为三层门控卷积、三层轻量化Inception层次网络、三层空洞门控卷积、三层轻量化Inception层次网络和三层门控卷积。

本发明具有如下的增益效果：

(1)大量地减少参数与运算数量；

(2)具有模块化与即插即用特性，本网络可以通过扩增与替换绝大多数图像处理人工神经网络中的朴素的3×3传统卷积层设计降低运算量而不具备明显的性能损失。