[发明专利]夜间图像着色方法、装置、介质和设备

权利要求书

1.一种夜间图像着色方法，其特征在，步骤包括：

构建着色网络，并且对着色网络进行训练，得到着色模型；所述着色网络包括编码器、解码器、全连接层和softmax层，所述编码器用于从融合图像中提取特征；所述解码器用于从编码器所提取的特征中获取到颜色分布；

所述编码器包括第一嵌入模块和第一自注意力模块；

所述第一嵌入模块输入融合图像，对融合图像进行嵌入操作处理；第一嵌入模块嵌入操作后的图像输入到第一自注意力模块，由第一自注意力模块进行特征提取，提取的特征作为编码器的输出；

所述解码器包括第二嵌入模块和第二自注意力模块；

所述第二嵌入模块作为解码器的输入，输入图像进行嵌入操作处理；第二嵌入模块嵌入操作后的图像输入到第二自注意力模块；

所述编码器输出的特征输入到第二自注意力模块，第二自注意力模块对于第二嵌入模块嵌入操作后的图像，以编码器输出的特征作为条件，进行特征提取；第二自注意力模块提取的特征作为解码器的输出；

着色网络中，编码器的输出特征和解码器的输出特征进行叠加后输入到全连接层，由全连接层进行映射后，通过softmax层预测出图像颜色的分布；

获取夜间同一视角拍摄的可见光图像和红外图像；

根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；

夜间可见光图像和红外图像在经过亮度调整后再进行融合处理得到融合图像，其中通过以下方式进行夜间可见光图像和红外图像的亮度值调整：

其中，vis(x)为可见光图像的亮度值，ir(x)为红外图像的亮度值，vis(x)'为可见光图像调整后的亮度值，ir(x)'为红外图像调整后的亮度值；

根据预设融合规则对夜间可见光图像和红外图像进行图像融合处理的过程如下：

将夜间可见光图像和红外图像输入到卷积神经网络中，分别对夜间可见光图像和红外图像进行特征提取，得到相应的特征图后进行特征图的连接，得到融合后的图像；

将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

2.根据权利要求1所述的色方法，其特征在于，着色网络中，编码器的第一嵌入模块针对于融合图像通过卷积完成嵌入操作，得到嵌入向量e∈R^H×W×D；其中融合图像的大小为H×W，D为嵌入维度；

第一自注意力模块包括行注意力模块和列注意力模块；第一自注意力模块的个数为一个或多个，分别为S1到SN，N为第一自注意力模块的个数，N大于等于1；当第一自注意力模块为多个时，第一自注意力模块S1至SN依次连接；

针对第一嵌入模块得到的嵌入向量e∈R^H×W×D，第一自注意力模块S1进行如下操作，以提取特征：

第一自注意力模块S1中行注意力模块对嵌入向量的每一行e_i,·∈R^W×D进行操作，如下：

利用第一自注意力模块S1行注意力模块的全连接层得到查询向量q∈R^W×D、键向量k∈R^W×D和值向量v∈R^W×D，然后执行自注意力操作：

[q,k,v]＝e_i,·U_qkv

r_i,·＝av

其中，U_qkv为行注意力模块中全连接层的参数矩阵，r_i,·为嵌入向量第i行应用行注意力模块得到的输出特征；对嵌入向量的每一行依次执行上述行注意力操作，得到行注意力模块的输出特征r∈R^H×W×D；

针对第一自注意力模块行注意力模块得到的输出特征r∈R^H×W×D，第一自注意力模块S1中列注意力模块对行注意力模块的输出特征的每一列r_·,j∈R^H×D进行操作，如下：

利用第一自注意力模块S1列注意力模块的全连接层得到查询向量q′∈R^H×D、键向量k′∈R^H×D和值向量v′∈R^H×D，然后执行自注意力操作：

[q′,k′,v′]＝r_·,jU′_qkv

c_·,j＝a′v′

其中，U′_qkv为第一自注意力模块S1中列注意力模块中全连接层的参数矩阵，c_·,j为第一自注意力模块S1中列注意力模块的第j列的输出特征；对行注意力模块的输出特征r∈R^H×W×D的每一列执行上述列注意力操作，得到列注意力模块的输出特征c∈R^H×W×D；

当第一自注意力模块包括多个时，即N大于1时，当前第一注意力模块Sn的输入即为上一第一注意力模块Sn-1的列注意力模块的输出，以此类推，n＝2,3，…，N。