[发明专利]一种生成图像超分辨网络的神经组件搜索方法

说明书

本发明公开了一种生成图像超分辨网络的神经组件搜索方法，该方法可搜索不同算力限制下的图像超分辨网络，其网络大小可伸缩。该方法除神经网络结构外，还可搜索色彩空间、损失函数组成及其他影响神经网络训练、推理性能的神经组件。该方法同时使用权值共享策略，全部搜索空间构建的超图权值可以被搜索出来的子图继承，大大加快了搜索时间。本发明针对图像超分辨重建应用，构建了简易性超图，并搜索出慢、一般、快三种图像超分辨网络。此外，该发明不仅适用于图像超分辨网络这一领域，也可作为一个通用框架，通过更改搜索空间，可使用提出的伸进组件搜索方法搜索出其他应用的神经网络。

技术领域

本发明属于图像超分辨技术领域，具体涉及一种生成图像超分辨网络的神经组件搜索方法。

背景技术

现在的图像超分重建方法可分为基于插值的方法和基于学习的方法。基于插值的方法可使用参数化方法，如双三次插值；也可使用非参数化回归方法如边缘有向插值、归一化卷积、双边滤波等来对图像的尺度进行上采样。然而，基于插值的图像超分辨重建方法在平滑区域(低频)表现较好，在边缘区域(高频)表现较差，因为它们容易出现边缘模糊和锯齿状伪影。

基于学习的图像超分辨重建方法有些不错的重建效果，但大多数基于学习的图像超分辨重建网络是手工设计的。根据经验和多次实验调整而手工设计的网络存在的问题在于，不同的网络需要在不同的超分辨场景下进行训练，网络在结构和损失函数等诸多方面均存在差异。

为了弥补上述手工设计网络的不足，几年来研究人员也提出了使用神经网络结构搜索方法(Neural Architecture Search,NAS)来搜索图像超分辨网络结构的思路。目前使用神经结构搜索的方法使用了混合控制算法，利用强化学习(ReinforcementLearning,RL)和进化算法(Evolution Algorithm,EA)从弹性空间采样图像超分辨重建网络，可以在给定的约束条件下，产生高质量的网络模型；同时从模型评估过程中采集有价值信息来指导网络进化，以实现有效的超分辨网络搜索，同时加速收敛。不过在这些神经结构搜索方法中，搜索空间仅局限于网络结构，在损失函数和训练策略方面仍引入了大量的人工先验知识；且大多数搜索方法采用了遗传算法，搜索空间大，导致了搜索时间长。

为了增大图像超分辨重建网络搜索空间的灵活性、加快搜索效率，本发明提出了参数共享的神经组件搜索方法(Neural Component Search,NCS)，并建立了搜索空间，搜索出了一批用于超分辨图像重建的自适应残差稠密网络(Adaptive Residual DenseNetwork,ARDN)。与仅搜索网络结构的NAS方法不同，本发明提出的NCS方法还可以搜索色彩空间、损失函数组成以及其他影响神经网络训练、推理性能的神经组件。同时，本发明提出的NCS除应用于图像超分辨领域外，也可作为一种通用框架，通过更改搜索空间的设置，可快速应用与其他应用神经网络的计算机视觉领域。

发明内容

为解决上述问题，本发明公开了一种生成图像超分辨网络的神经组件搜索方法，在给定的算力约束条件下搜索出最优的图像超分辨网络，提高超分辨网络搜索空间的自由度，减少引入的人工先验，提高搜索速度。

为达到上述目的，本发明的技术方案如下：

一种生成图像超分辨网络的神经组件搜索方法，包括以下步骤：

步骤S1：设计搜索空间搜索空间是一种待搜索的超图，包含搜索所有的网络节点、连接路径、损失函数、色彩空间；

步骤S2：使用控制器从搜索空间中采样网络组件构建图像超分辨重建网络子图，该子图包含网络参数为的共享生成器和网络为的共享鉴别器；共享生成器分为四类单元，共享鉴别器分为一类单元；