[发明专利]一种基于深度学习和无参考质量评价的图像生成方法

权利要求书

1.基于深度学习和无参考质量评价的图像生成方法，其特征在于，包括以下步骤：

步骤一：数据集收集和整理：收集目前最大的无参考图像质量评价数据集，koniq-10k数据集，KADID-10K数据集，TID2013数据集；

步骤二：使用图像编辑技术搭建深度学习网络模型，步骤如下：

首先找到控制图片生成中某一对象的生成神经网络的单元参数：对于一维随机向量z,将其输入到GAN网络中的生成器中，通过某一层卷积神经网络，这里用公式h(z)＝r表示，r就是对随机向量z进行特征提取得到的中间特征图，最后由于中间特征图r具有产生图像x＝f(r)所需的所有数据，因此必然包含用于推断图像中是否存在任何可见类的信息，这里的类就是指图片中所包含的某个对象，对于一张图片中里面的“树木”或者“汽车”，将信息编码的那个特征图找到，对于来自图片中的任何类，找到相应的控制这个类产生和消失的特征图以及其相应的参数，具体步骤如下：

a)对于由随机向量z输入后经过处理后的特征图r，对于r中每个通道的热力图单元u进行上采样，上采样的方式是通过设置阈值来生成的，生成之后的图片分成两部分，一部分是属于相应类别，一部分是不属于这类的，对于一部分是认为生成“树”类别的单元，阈值的设置原则见步骤c)；

b)对于经过相同GAN网络之后生成的图片，通过使用MASK-RCNN图像分割网络进行图像分割依然会生成一张图片，也拥有两部分，一部分是属于相应的类别，一部分是不属于，对于一部分是“树”这个类别的像素点，另一部分是其他像素点；

c)对于热力图的阈值设定原则是步骤a)和步骤中b)相应属于相同类别的单元像素重叠比最大的值，就是阈值；

步骤三：在得到步骤二的结果之后，确定了对于图片中某一个类别，对于图片中的树木，它的生成的控制单元，也就是相应深度学习网络中的特征图中的参数了，接下来对该层网络进行处理，也就是对网络模型参数进行修改，有两种方式：

增强：增大参数的值，也就是在深度网络参数传递中，将控制某一对象的特征图单元中的参数值调大，使得其生成后的图片更加“增强表达”这个对象类；

抑制：减少参数的值，也就是在深度网络参数传递中，将控制某一对象的特征图单元中的参数值调小甚至调整为0，使得其生成后的图片更加“减少表达”这个对象类；

步骤四：使用无参考图像质量评价网络对图片进行打分，输出打分值score,根据打分值保存最终图片。