[发明专利]一种基于自注意力模型的图像生成方法

说明书

本发明中提出的一种基于自注意力模型的图像生成方法，其主要内容包括：图像表示、自注意力模型、局部自注意力，其过程为，将输入像素和预测像素的三个颜色通道强度视为分类变量并进行编码，将宽度和通道的尺寸组合成一个三维张量，将位置的当前表示与其他位置的表示进行比较，从而获得对其他位置的注意力分布，为所有查询块并行计算自注意力，同时为所有位置并行计算前馈网络和层的归一化，使用一维局部注意力和二维局部注意力两个方案来选择查询块及其相关联的存储块邻域。本发明基于自注意力模型，显著增加了模型在实践中可以处理的图像的大小，能够有效地利用图像的二维特性，大大提高了生成图像的质量。

技术领域

本发明涉及图像处理领域，尤其是涉及了一种基于自注意力模型的图像生成方法。

背景技术

图像处理和图像生成是计算机视觉领域的一个重要课题。如今，随着网络的普及和各式拍摄设备的发展，各种各样的图像的数量成指数增长。但是由于网络传输和拍摄设备的影响，人们获取的图片可能会出现不完整或模糊不清的问题，使得人们无法从图像中获取有效的信息。因此，通过各种图像修复和图像生成技术，可以快速识别和恢复图像，这在许多领域都有广泛的应用。如在医学工程领域，由于患者病变组织较暗，能见度偏低，医生难以分辨病变部位和正常部位，也难以对病变部位的程度进行判断，因此需要对较暗和模糊的图像进行清晰化增强处理；在军事工程领域，由于恶劣天气的影响，当远距离侦查敌情时获取的图像通常都较为模糊，因此也需要图像处理来突出有用信息；在安全防卫领域，也需要对监控摄像获取的嫌疑人物图像进行清晰化处理，帮助刑侦人员获取有效人物特征信息。然而，现有的图像生成技术仍然存在处理后的图片分辨率较低，计算成本较高的问题。

本发明提出了一种基于自注意力模型的图像生成方法，将输入像素和预测像素的三个颜色通道强度视为分类变量并进行编码，将宽度和通道的尺寸组合成一个三维张量，将位置的当前表示与其他位置的表示进行比较，从而获得对其他位置的注意力分布，为所有查询块并行计算自注意力，同时为所有位置并行计算前馈网络和层的归一化，使用一维局部注意力和二维局部注意力两个方案来选择查询块及其相关联的存储块邻域。本发明基于自注意力模型，显著增加了模型在实践中可以处理的图像的大小，能够有效地利用图像的二维特性，大大提高了生成图像的质量。

发明内容

针对图片分辨率较低、计算成本较高的问题，本发明的目的在于提供一种基于自注意力模型的图像生成方法，将输入像素和预测像素的三个颜色通道强度视为分类变量并进行编码，将宽度和通道的尺寸组合成一个三维张量，将位置的当前表示与其他位置的表示进行比较，从而获得对其他位置的注意力分布，为所有查询块并行计算自注意力，同时为所有位置并行计算前馈网络和层的归一化，使用一维局部注意力和二维局部注意力两个方案来选择查询块及其相关联的存储块邻域。

为解决上述问题，本发明提供一种基于自注意力模型的图像生成方法，其主要内容包括：

(一)图像表示；

(二)自注意力模型；

(三)局部自注意力。

其中，所述的图像表示，将输入像素和预测像素的RGB强度都视为分类变量；每个输入像素的三个颜色通道使用信道强度值为0-255的256维嵌入向量的信道专用集合进行编码；对于输出强度，共享一个单独的256维跨通道嵌入；对于宽度为w和高度为h的图像，将宽度和通道的尺寸组合成一个三维张量，其形状为[h,w·3,d]。

进一步地，所述的像素，对于每个像素表示，添加该像素的坐标的d维编码，编码由坐标的正弦和余弦函数组成，不同维度的不同频率表示为PE_(pos,2i)＝sin(pos/10000^2i/d)和PE_(pos,2i+1)＝cos(pos/10000^2i/d)；