[发明专利]内镜图像颜色还原方法及装置

权利要求书

1.一种内镜图像颜色还原方法，其特征在于，包括：

将待还原内镜图像转换为灰度图像；

基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；其中，所述下采样卷积神经网络为包含多个下采样层的卷积神经网络；

基于预先训练好的上采样卷积神经网络将融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原；其中，所述上采样卷积神经网络为包含多个上采样层的卷积神经网络；

所述灰度图像对应的色度信息包括色彩和饱和度；

相应地，根据所述色度信息对所述待还原内镜图像进行颜色还原的步骤具体包括：

将所述灰度图像作为所述待还原内镜图像的亮度，根据所述亮度、所述色彩和所述饱和度，获取YUV颜色空间下的所述待还原内镜图像；

将YUV颜色空间下的所述待还原内镜图像转换为RGB颜色空间下的所述待还原内镜图像，将RGB颜色空间下的所述待还原内镜图像作为所述待还原内镜图像的颜色还原结果；

所述根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，包括：将所述上采样卷积神经网络输出的所述灰度图像对应的色彩图像作为U值图像，将所述上采样卷积神经网络输出的所述灰度图像对应的饱和度图像作为V值图像；

所述下采样卷积神经网络中所述下采样层的数量与所述上采样卷积神经网络中所述上采样层的数量相同；所述上采样卷积神经网络中卷积核大小与所述下采样卷积神经网络中卷积核大小相同。

2.根据权利要求1所述的内镜图像颜色还原方法，其特征在于，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息的步骤具体包括：

根据预先训练好的ResNet网络的输入尺寸对所述灰度图像进行裁剪；

将裁剪后的所述灰度图像分别作为三个通道上的图像，将三个通道上的所述灰度图像进行叠加，将叠加结果作为所述ResNet网络的输入，提取所述灰度图像的全局场景信息。

3.根据权利要求1-2任一所述的内镜图像颜色还原方法，其特征在于，在基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征的步骤之前还包括：

将图像样本的颜色空间转换为YUV颜色空间；

将YUV颜色空间下的所述图像样本的Y值图像作为所述下采样卷积神经网络和预先训练好的ResNet网络的输入，获取所述Y值图像的局部特征和全局场景信息，并将所述Y值图像的局部特征和全局场景信息进行融合；

将所述Y值图像对应的融合结果作为上采样卷积神经网络的输入，将所述Y值图像对应的融合结果恢复到所述图像样本的尺寸，并生成所述Y值图像对应的色度信息，将所述Y值图像对应的色度信息与所述Y值图像进行叠加，获取所述图像样本的颜色还原结果；

基于损失函数计算所述图像样本和所述图像样本的颜色还原结果之间的损失值；

若所述损失值大于预设阈值，则对所述上采样卷积神经网络和所述下采样卷积神经网络的参数进行调整，直到所述损失值小于或等于所述预设阈值。

4.根据权利要求3所述的内镜图像颜色还原方法，其特征在于，基于损失函数计算所述图像样本和所述图像样本的颜色还原结果之间的损失值的步骤具体包括：

基于所述损失函数中的色彩损失函数计算所述图像样本的色度信息和所述图像样本的颜色还原结果的色度信息之间的距离；

基于VGG网络提取所述图像样本和所述图像样本的颜色还原结果的高层特征图，基于所述损失函数中的感知损失函数计算所述图像样本的高层特征图和所述图像样本的颜色还原结果的高层特征图之间的损失值；

将所述图像样本和所述图像样本的颜色还原结果的色度信息之间的距离，以及所述图像样本和所述图像样本的颜色还原结果的高层特征图之间的损失值相加，获取所述图像样本和所述图像样本的颜色还原结果之间的损失值。