[发明专利]一种基于搜索方向学习的智能工业设计强化学习算法

说明书

一种基于搜索方向学习的智能工业设计强化学习算法,通过以下几个步骤实现：步骤A：通过第一神经网络和第二神经网络分别描述设计变量与目标值的关系F(x)、任意设计点与对应的最佳搜索方向的关系G(x)；步骤B：系统将随机抽样，筛选抽样样本，由筛选后的样本数据构建学习数据；若两套新的神经网络未能满足强化终止条件，则继续抽样、筛选直至两套新的神经网络满足强化终止条件；步骤C：当两套新的神经网络满足强化终止条件，保留并输出当前两套神经网络模型结构。与传统方法相比，本发明的有益效果是：对于探索空间连续且空间较大的问题，本发明构建两套神经网络配合，强化学习的整个流程，本发明提高了学习的效率同时向算法收敛的方向进行。

技术领域

本发明涉及一种智能工业设计算法，尤其涉及一种基于搜索方向学习的智能工业设计强化学习算法。

背景技术

智能工业设计，即通过对工业领域的设计数据的学习，使得机器具备设计的能力，进而协助人类提高生产力,表现在提高人工设计的效率,可以代替部分繁琐的人工工作;在训练机器的过程中，可以通过学习机制探索未知的设计方案,拓展原有的有限的设计经验;在工业领域，设计过程通常需要一系列计算机辅助建模.计算机辅助仿真（或者实验）过程；在机器学习方向，这个过程对应着样本数据积累，根据具体的设计目标，有相应的学习数据生成,以及后续的学习模型建立,模型训练等过程,最终的目标是实现机器关于具体设计的认知,如可以判断具体某个设计的优劣,自动实现满足需要的设计方案等;机器学习工业设计的过程可以抽象为，机器记录设计变量与设计目标之间关系的过程，同时确定更优设计的方向，使得机器可以进行更高质量的工业设计；在具体的工业设计领域，比如泵设计，船舶设计等等，设计变量往往是连续变量，同时设计变量的数目也较多，因此组合对应的状态规模很大，使用纯概率的算法，如马尔可夫决策，或者贝叶斯图等寻找更优的方式成本很高，为此我们通过对设计点与设计方向之间建立映射，表征迁移概率函数，避免了复杂的概率计算，同时由于创建映射本身存在的一定模糊性，因此具备了一定的适应性；此外通过与强化过程结合，不断地筛选出更优设计，使得算法可以寻找更优的设计；

一般而言，强化学习面对工业设计领域，目前主要面临的难点在于，探索空间较大，即设计参数的组合情形较多；如何设计对具体状态的有效评估是一个较难处理的问题；以及处理如何使得一套由设计参数到目标的关系的描述适用性准确且更广泛的问题。

发明内容

为了解决上述所存在的问题，本发明提供了一种基于搜索方向学习的智能工业设计强化学习算法，本发明通过两套神经网络的配合，可以提高学习的效率同时向算法收敛的方向进行。

一种基于搜索方向学习的智能工业设计强化学习算法,通过以下几个步骤实现：

步骤A：首先确定工业设计中依赖的设计目标、设计变量及其取值范围；机器在通过样本数据训练的时候，通过第一神经网络和第二神经网络分别描述设计变量与设计目标的关系F(x)、任意设计点与对应的最佳搜索方向的关系G(x)；

步骤B：系统不断地进行随机抽样，过滤异常样本，筛选抽样样本，由筛选后的样本数据构建学习数据，并评选当前最优设计点和计算学习数据搜索方向，通过所述学习数据重新构建所述关系F(x)和所述关系G(x)，即重建第一神经网络和第二神经网络，得到新的第一神经网络和新的第二神经网络；

若新的第一神经网络和新的第二神经网络未能满足强化终止条件，则所述新的第一神经网络和新的第二神经网络继续强化训练，即新的第一神经网络和新的第二神经网络继续进行抽样、过滤、筛选、评选新的最优设计点和计算新的学习数据搜索方向，重新构建第一神经网络和第二神经网络，直至当前的第一神经网络和当前的第二神经网络满足强化终止条件；