[发明专利]基于DDPG-RAM算法的复杂光照条件下织物缺陷检测方法

说明书

本发明公开了一种基于DDPG‑RAM算法的复杂光照条件下织物缺陷检测方法，采集织物缺陷图像作为训练样本‑对织物缺陷图像进行图像增强‑利用图像增强后的训练样本对DDPG‑RAM模型进行训练，确定训练后的网络参数‑利用训练后的DDPG‑RAM模型对织物缺陷图像进行缺陷检测。实现了织物缺陷的自动检测，且运行速度快，具有更高的准确性，效果更好。

技术领域

本发明涉及织物缺陷检测技术领域，具体涉及一种基于 DDPG-RAM算法的复杂光照条件下织物缺陷检测方法。

背景技术

强化学习自从上世纪提出以来就广受关注，作为机器学习的一大分支，相较于监督学习和非监督学习，强化学习是在不断与环境的交互中学习状态和行为之间的映射关系从而使得数值回报达到最大化，在缺陷检测方面，强化学习针对不同缺陷种类和不同缺陷的表现形式都有着都有着学习能力，目前应用最为广泛的模型是基于 Q-learning、DPG和DDPG模型算法，DDPG算法是利用DQN扩展 Q-learning学习算法对DPG改造后得到的，针对前两种模型只能离散输出的问题，DDPG应用一种基于Actor-Critic框架的算法，解决了连续空间上的深度强化学习问题，相较于之前的深度学习算法在环境适应力上都有着显著的优势，另一方面，对图像的特征识别，循环注意力模型(RAM)通过模仿人眼的注意力机制充分的结合CNN 和RNN在缺陷识别上的优势，通常处理大规模图像特征识别。

针对织物缺陷检测的问题，传统方法是基于CNN模型构建多层网络针对织物特定的缺陷进行识别和分类的，此类模型较为复杂且当输入图像数据量较大时就有着明显的劣势了，而且当缺陷种类较多时传统模型不能自动识别。

发明内容

本发明的目的就是针对上述技术的不足，提供一种能自动检测基于DDPG-RAM算法的复杂光照条件下织物缺陷检测方法。

为实现上述目的，本发明所设计的基于DDPG-RAM算法的复杂光照条件下织物缺陷检测方法如下：

1)采集织物缺陷图像作为训练样本；

2)对步骤1)中织物缺陷图像进行预处理，选用图像增强算法对复杂光照条件下的织物图像进行图像增强；

3)利用步骤2)中图像增强后的训练样本对DDPG-RAM模型进行训练，确定训练后的网络参数

3.1)构建DDPG-RAM模型，并随机初始化网络参数；

构建DDPG-RAM模型，结合了深度确定性策略梯度(DDPG) 算法和循环注意力模型(RAM)，该DDPG-RAM模型包括Glimpse 网络，Core网络，Action网络，Actor网络和Critic网络五个部分， Actor网络、Critic网络又分别构建了两个结构完全相同但参数不同的eval网络和target网络，从而形成Actor eval网络、Actor target 网络、Critic eval网络和Critic target网络共四个网络，其中，Actor 网络为行为网络、Critic网络为评价网络、eval网络为估计网络和 target网络为目标网络，Actor eval网络为行为估计网络、Actortarget 网络为行为目标网络、Critic eval网络为评价估计网络、Critic target 网络为为评价目标网络；然后对该RAM模型进行随机初始化，即随机初始化Glimpse网络、Core网络、Action网络、Actor eval网络、 Critic eval网络的参数μ(h|θ^μ)、 Q(h,l|θ^Q)，以及将Actor eval网络和Critic eval网络的值赋予与之对应的target网络，即θ^μ→θ^μ'，θ^Q→θ^Q'；

3.2)经验池初始化为0，大小为max_size×(2×h_t_dim+2+1)；