[发明专利]一种用于图像分割的深度强化学习方法

权利要求书

1.一种用于图像分割的新型深度强化学习算法，其特征在于，包括：

S1：采集若干相关图像作为训练图像集，并且对其进行预处理，提取出包含目标区域的感兴趣区域；

S2：针对要分割图像的特点，建立深度强化学习所需的状态值，动作值以及奖赏值；

S3：构建合适的深度学习网络模型作为深度强化学习算法中的值网络和目标网络；

S4：在深度网络训练过程中，利用多因素自学习曲线对经验池和样本采样大小进行动态调整；

S4：完成网络的训练，对测试样本进行运动轨迹的预测，从而得到最终的图像的分割结果。

2.根据权利要求1所述的一种用于图像分割的新型深度强化学习算法，其特征在于，所述步骤S2中具体包括：

S21：针对要分割图像的特点，以图像感兴趣区域的每一列为研究对象，构建深度强化学习模型所需要的状态值，动作值，奖赏值；

S22：状态值的确定：选取图像每一列某一像素的领域灰度值向量组成状态值；

S23：动作值的确定：深度强化学习智能体以图像的顶部或者底部为起始位置，根据当前状态是否是最佳状态给出相应的奖赏值或者惩罚，并依据当前状态做出向上或者向下运动改变当前的状态；

S24：奖赏值的确定：依据强化学习智能体当前状态是否是目标状态给出相应的奖赏值，奖赏值可以由图像当前的分割效果与人工最佳分割版本进行对比得出，与人工版本符合率高给出较高的奖赏值，符合率低的给出相应的惩罚值。

3.根据权利要求1所述的一种用于图像分割的新型深度强化学习算法，其特征在于，所述步骤S3中具体包括：

S31：构建合适的深度学习网络模型作为深度强化学习算法中的值网络和目标网络，深度学习网络模型的输入层节点数与训练样本的状态特征向量维数一致，输出层的节点数与智能体的动作总数量相一致，隐含层的层数以及各层的节点数根据图像分割的效果来确定；

S32：预训练阶段从训练图片中获取训练样本并将训练样本储存到经验池中，从经验池中随机抽取部分训练样本，将训练样本输入到输入层，通过逐层训练的方式对各层结构进行训练，低一层隐含层输出作为高一层的输入；

S33：微调阶段：采用有监督学习方式对整个网络进行训练，将目标网络的输出作为值网络输出的标签，将值网络的实际输出与目标网络的误差逐层向后传播，对值网络的参数进行微调；

S34：目标网络更新阶段：训练每间隔一段时间将值网络的参数赋给目标网络，其余训练时间目标网络的参数保持固定不变，实现值网络和目标网络的参数同步；

S35：根据图像分割效果调节和优化网络参数，完成深度神经网络的训练；最后，根据训练好的深度强化学习模型对测试样本进行最终的分割。

4.根据权利要求1所述的一种用于图像分割的新型深度强化学习算法，其特征在于，所述步骤S4中具体包括：

S41：在后续的训练过程中，为了提高训练效率，根据多因子学习曲线动态调节经验池的大小：

S42：在后续的训练过程中，为了提高训练效率，根据多因子学习曲线动态调节样本采样的大小：

R表示经验池的大小，N表示样本采样大小，k表示算法的首次学习效果，一般取为常数1，steps表示训练步数，γ表示奖赏折扣率，α表示学习率，C表示目标网络更新步数间隔。