[发明专利]一种基于多视角注意力机制的灰度图像自动上色方法

权利要求书

1.一种基于多视角注意力机制的灰度图像自动上色方法，其特征在于包括以下步骤：

步骤1，数据收集与处理，采用开源的大规模图像数据集ImageNet,在获得数据集后对图像进行中心裁剪，得到分辨率为256*256的训练图像，随后对图像进行颜色空间变换，从RGB颜色空间变换到CIE Lab空间，对训练集中的每一张图像，以其L通道的数据作为灰度输入，ab通道作为颜色标签；

步骤2，模型构建，基于编码-解码架构设计全卷积的自动上色模型；采用多视角注意力机制，通过多视角注意力模块能够让上色模型自适应地获取不同视角、不同尺度的注意力信息，更好地支持模型重建彩色图像；

多视角注意力机制包括以下方法：多视角注意力模块接受一个尺寸为R^H×W×C的特征图F作为输入，随后该特征图进入三个分支；

分支1：对特征图F进行全局平均池化，将其转换为F₁₁，尺寸为R^1×1×C；将特征图F₁₁输入到两层连续的全连接层进行仿射变换，两层全连接层之间有一层ReLU激活函数，第二层全连接层后有一层Sigmoid,最终得到特征图F_{out_1}，其尺寸为R^1×1×C，该过程用公式(1)、(2)进行规约；

F₁₁＝avgpool(F) (1)

F_{out_1}＝σ(f_l2(R(f_l1(F₁₁)))) (2)

其中avgpool代表全局平均池化，σ代表Sigmiod层，f_l1和f_l2分别代表两层全连接层，R代表激活函数ReLU层；

分支2:将特征图F进行通道池化，得到特征图F₂₁，其尺寸为R^H×W×2；采用最大池化，将F₂₁按照2^k倍下采样，k＝1,2,3,..,n-1；得到不同尺度的特征图V₁,V₂,...,V_n-1,特征图V_k的尺寸为随后对于每一个特征图V_k，经过一个3x3卷积和一层Sigmoid层之后进行k倍上采样，恢复特征图尺寸为R^H×W×1，得到n-1个特征图输出A₁,A₂,...,A_n-1；最后将每张特征图分别乘上一个可学习参数λ_k得到第二个分支的特征图输出F_{out_2}，尺寸为R^H×W×1；

该分支数学规约如式(3)至(6)所示：

F₂₁＝localpool(F₂) (3)

V_k＝mp(F₂₁) (4)

A_k＝up(σ(conv(V_k))) (5)

其中localpool代表通道池化，mp代表空间上的最大池化，up代表上采样，conv代表3×3卷积，k表示特征图下采样的倍数，是一个1到n的整数，n表示最大的下采样倍数，即任意符合图像分辨率下采样倍数的整数；

分支3：将输入特征图F不做任何变换成为F_{out_3}；

最后将三个分支的输出通过“广播”机制进行维度复制，得到了三张尺寸均为R^H×W×C的特征图，最后进行Hadmard乘积得到最终的输出F_out，尺寸为R^H×W×C，并传入下一层；特征图聚合操作的数学规约如式(7)所示：

其中BroadCast表示张量的“广播”操作，即先对特征图进行维度拓展。

2.根据权利要求1所述的一种基于多视角注意力机制的灰度图像自动上色方法，其特征在于，所述步骤2中，基于编码-解码架构设计全卷积的自动上色模型，采用了Huber-loss作为损失函数，其数学规约如式(8)：

其中x和y分别表示训练数据对中的彩色原图以及模型重建后的彩色图像对应位置的像素值，δ是一个超参数，其值取1，即δ＝1。