[发明专利]一种基于深度强化学习的指静脉图像修复方法

权利要求书

1.一种基于深度强化学习的指静脉图像修复方法，其特征在于，包括如下步骤：

步骤1，利用现有公开数据集，通过一些数据处理构造不同修复任务的失真数据集，包括构造缺失了指静脉结构信息的数据集I_miss、添加了运动模糊的数据集I_blur、添加了噪声的数据集I_noise；

步骤2，设计一种基于静脉特征引导的手指静脉图像修复网络进行缺失的指静脉图像信息修复，网络包括两个阶段：特征修复阶段与指静脉修复阶段；

步骤3，设计一种基于DeblurGan-v2的指静脉去运动模糊生成对抗网络，对具有运动模糊的指静脉图像进行去模糊处理；

步骤4：设计一种基于深度强化学习的智能体，训练后的智能体能够针对不同的指静脉图像问题自适应地选择修复任务，其中智能体可执行的任务主要有对比度增强，图像去噪，图像修复与去运动模糊。

2.根据权利要求1所述的一种基于深度强化学习的指静脉图像修复方法，其特征在于：步骤1所述的缺失了指静脉结构信息的数据集I_miss、添加了运动模糊的数据集I_blur、添加了噪声的数据集I_noise构建方法如下：

数据集I_miss包括原始ROI图像I_ROI，对ROI图像做最大曲率特征提取后的特征图像I_feature，随机生成的区域掩膜图像I_mask；所述步骤1中的数据集I_blur包括经过随机高斯运动模糊核处理后的图像I_blur以及没经过处理的原始图像I_ROI；所述步骤1中的数据集I_noise包括经过随机噪声处理后的图像I_noise以及没经过处理的原始图像I_ROI。

3.根据权利要求1所述的一种基于深度强化学习的指静脉图像修复方法，其特征在于，步骤2中所述的设计一种基于静脉特征引导的手指静脉图像修复网络的具体步骤为：

步骤2.1，设计一种基于静脉特征引导的手指静脉图像修复网络，包括两个阶段：特征修复阶段与指静脉修复阶段，使用步骤1中构建的数据集I_miss对网络进行训练与测试；

步骤2.2，确定输入的图像数据，特征修复阶段输入的图像是特征图像I_texture，经过掩膜处理后的特征图像I_texture-mask，原始ROI图像I_ROI，经过掩膜处理后的ROI图像I_ROI-mask，最后将I_texture-mask与I_ROI-mask在维度上拼接获得网络的输入数据I_input-1。I_texture-mask与I_ROI-mask可分别由公式(1)与公式(2)表达：

I_texture-mask＝(I_texture⊙(1-I_mask)) (1)

I_ROI-mask＝(I_ROI⊙(1-I_mask))+I_mask (2)

步骤2.3，特征修复阶段主要是在静脉结构层面上对图像进行修复，通过不断地训练，最终输出修复后的指静脉特征图像I_texture-pred，训练主要依据于对抗损失和特征匹配损失来进行约束，可分别由公式(4)与公式(5)来表达：

步骤2.4，指静脉图像修复阶段主要是根据特征修复后的纹理图像通过风格迁移反推到原始指静脉图像，这样生成的指静脉图像是由静脉引导与约束的，极大地保留了图像的静脉特征信息。此阶段的网络的输入图像I_input-2是由原始ROI图像I_ROI，经过掩膜处理后的ROI图像I_ROI-mask，以及修复后的I_texture-pred组成，将I_ROI-mask与修复后的I_texture-pred结合组成I_comp，可由公式(6)来表达。感知损失与风格迁移损失、生成对抗损失组成的联合损失用于对网络进行训练，输出修复后的指静脉图像I_comp-pred。生成对抗损失感知损失与风格迁移损失可分别由公式(7)、公式(8)、公式(9)来表达：