[发明专利]一种基于强化学习的绞吸式挖泥船智能控制系统及方法

说明书

本发明属于绞吸挖泥船智能化控制领域，一种基于强化学习的绞吸式挖泥船智能控制方法，并基于此方法设计了一种基于强化学习的绞吸式挖泥船智能控制系统，其特征在于，包括作业优化系统、绞吸船智能控制模块、过程控制单元和智能控制子系统；所述智能控制子系统包括：横移控制子系统、泥泵控制子系统、绞刀控制子系统、进关控制子系统和桥架控制子系统。本发明仅需实船数据即可进行自学习的模型训练，能够在实船复杂环境条件下快速有效学习并达到智能优化目标，在降低人工成本的同时提升疏浚施工效率。

技术领域

本发明属于绞吸挖泥船智能化控制领域，特别涉及一种基于强化学习的智能控制系统与控制方法，可以进行自学习，完成对绞吸挖泥船的智能控制，属于人工智能及控制技术领域。

背景技术

挖泥船是水利疏浚中的重要装备。绞吸式挖泥船将挖掘和输送泥浆的工序一次完成，具有非常广泛的适应性和经济性，在航道疏浚、港口建设、海洋开发等工程中有非常重要的作用。

绞吸式挖泥船的操作流程繁琐、工作原理复杂、工作环境多样。实际疏浚作业过程的动态特性非常复杂，疏浚作业设备的特性也随作业状态和作业位置的不同而明显变化。疏浚工程中的施工参数只能是针对某一具体挖泥船设备和作业环境而制定的，适用面窄，没有相应的数学模型。疏浚作业过程中挖泥船主要的作业参数是由操作人员根据自己的经验、试挖情况以及挖泥船实际作业效果灵活确定的。由于实际施工过程中影响因素非常多，相互关系复杂，疏浚操作人员的经验和理论水平差别较大，以手工作业的实际产量往往低于设计产量，疏浚作业效率低、自动化程度低、经验依赖性强。为此亟需提高疏浚作业的智能化程度，运用人工智能技术，实现疏浚船舶智能优化控制。

发明内容

本发明的目的是针对现有技术存在的问题，提出一种基于强化学习的绞吸式挖泥船智能控制系统及方法。通过控制绞吸船的横移子系统、泥泵子系统、绞刀子系统、桥架子系统和进关子控制系统，针对不同的控制子系统设计适当的控制器，并利用强化学习推荐智能自主寻优实时施工参数，实现对疏浚作业过程动作和重要过程参数的控制。该系统不需要驾驶员手动操纵各类控制把柄，极大降低工作人员的劳动强度，对于提高挖泥船的智能化水平、提升生产效率和降低生产成本等都可起到积极作用。

发明的目的通过如下技术方案实现：

一种基于强化学习的绞吸式挖泥船智能控制方法，其特征在于，包括以下步骤：

S1.利用传感器收集绞吸船施工过程数据，构成疏浚作业过程的原始数据库；

S2.针对原始数据进行数据预处理，筛选出横移周期内的有效数据，并采用卡尔曼滤波方法对数据进行滤波；

S3.采用信息增益率的方法挑选出和产量密切相关并可人工调控的控制参数；

信息增益是指添加了信息之后能增加多少收益，也即增加信息之后能减少多少不确定性；分裂信息量(又称节点分裂信息度量)为节点上样本的信息熵，其考虑属性进行分裂时分支的数量和尺寸信息；信息增益率是信息增益与分裂信息量的比值，使各属性的重要性随着分裂信息量的增大而减小。利用信息增益率筛选的参数为横移速度、泥泵转速、绞刀转速、步进距离和桥架深度，其分别对应了绞吸船的横移子控制系统、泥泵子控制系统、绞刀子控制系统、进关子控制系统和桥架子控制系统。

S4.筛选出控制变量后，定义强化学习动作区间为[横移速度，泥泵转速，绞刀转速，桥架深度，步进距离]，即定义了强化学习中智能体可以控制的变量；

S5.强化学习动作区间为连续动作空间，并满足完备性、高效性、合法性要求；

其中，完备性指的是功能的完备性(具备基本功能)和时效完备性(在具备基本功能前提下，响应速度快，决策周期短)；

高效性指的是动作空间简单高效，可以有效降低训练难度并提升算法性能；

合法性指的是设置在特定状态下不允许出现的动作；