[发明专利]基于CNN-LSTM组合模型的黑白图片的着色方法和系统

权利要求书

1.一种基于CNN-LSTM组合模型的黑白图片的着色方法，该方法包括以下步骤：

采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；

将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；

将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；

利用所述着色网络模型对待着色的黑白图像进行着色。

2.根据权利要求1所述的着色方法，其特征在于：所述多张彩色初始图像是从原始视频中提取的帧图片。

3.根据权利要求1所述的着色方法，其特征在于：所述多张彩色初始图像来源于ImageNet数据集。

4.根据权利要求1所述的着色方法，其特征在于：所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层，所述全连接层连接于池化层后。

5.根据权利要求4所述的着色方法，其特征在于：所述生成所述黑白特征图谱包括以下子步骤：

将多张黑白图像输入到卷积层获得第一特征图谱；

将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；

利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；

将所述联合特征输入Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIE Lab颜色空间数据；

将所述CIE Lab颜色空间数据输入LSTM长短时记忆网络结构中进行训练，获得着色训练模型。

6.根据权利要求5所述的着色方法，其特征在于：在每层卷积层后添加ReLU非线性层，利用ReLU非线性层作为跟随每个卷积层的激活函数。

7.根据权利要求5所述的着色方法，其特征在于：所述获得着色训练模型包括以下子步骤：

利用所述CIE Lab颜色空间数据建立目标函数，利用该目标函数用以预测颜色和地面真实颜色之间的欧几里德损失；

该目标函数为：

其中，L₂为预测颜色和地面真实颜色之间的欧几里德损失；Y是目标函数，是目标函数的映射；h和w分别为CIE Lab颜色空间的通道的高度和宽度；

给定映射模型其中该映射模型中的颜色的概率分布为：

其中，q是量化的a，b值的数量；比较预测反对基本事实模型Z，定义该基本事实模型为：并将地面实况颜色的目标函数Y转换为矢量Z,其中，g为节点数量，t为时间参数；

利用交叉熵损失函数对颜色级稀有度重新平衡损失，该交叉熵损失函数为：

其中，L_cl为交叉熵损失函数值；v为加权数值；q为量化的a，b值的数量；h和w分别为CIELab颜色空间的通道的高度和宽度；

利用映射模型的使用函数H(Z)对Y进行着色；所述使用函数H(Z)的公式为：

8.根据权利要求7所述的着色方法，其特征在于：在所述利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征步骤前还包括标准化步骤：利用批量标准化方法对第二特征图谱进行处理获得标准化的特征图谱。