[发明专利]一种变稳船变稳控制方法、系统、装置及存储介质

说明书

本发明公开了一种变稳船变稳控制方法、系统、装置及存储介质，变稳船变稳控制方法通过根据待模拟船的航行状态构建马尔可夫决策过程数学模型，建立了深度强化学习应用于变稳船变稳控制的环境模型；通过在马尔可夫决策过程数学模型的环境下构建基于DQN的变稳控制模型，并根据待模拟船的航行状态和构建的变稳控制模型获取目标控制量，使得与环境交互并经过深度强化学习得到的目标控制量具有更强的抗干扰性，从而在根据目标控制量进行变稳船的变稳控制时提高了变稳控制的可靠性、稳定性和精确度，提高了变稳船的航行状态与待模拟船的航行状态一致性。本发明可广泛应用于船舶控制技术领域。

技术领域

本申请涉及船舶控制技术领域，尤其是一种变稳船变稳控制方法、系统、装置及存储介质。

背景技术

船舶的智能化是未来船舶发展的主要趋势，船舶将逐渐由人工驾驶转向自主航行。然而，不同型号的船舶具有不同的水动力学特性。目前，为保证自主航行控制系统对不同型号船舶均具有良好的控制效果，一般采用变稳船来进行船舶自主航行控制系统的测试。

变稳船是一种水上模拟船，可用于测试不同的船舶自主航行控制系统。采用变稳船进行测试，能够反映出不同船舶的特性，并进一步验证人工智能程序在不同船舶上的控制效果。具体的测试过程是：在使用控制方法A控制船A的前提下，使用控制方法B控制船B，使船B模拟出船A每个时刻的位置与姿态。其中，船B称为“变稳船”，控制方法B称为“变稳控制方法”；船A称为“待模拟船”，控制方法A对应的船舶自主航行控制系统称为“待验证控制系统”。然而，传统的变稳控制方法靠干扰性不够强，无法稳定地使变稳船航行状态与待模拟船的航行状态保持一致，可靠性仍然较低。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种变稳船变稳控制方法、系统、装置及存储介质，以使变稳船更加稳定、可靠、精准地模拟待模拟船的航行状态。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种变稳船变稳控制方法，包括以下步骤：

获取待模拟船的航行状态，所述航行状态包括位置、航向角、速度及控制量，所述控制量包括舵角和螺旋桨转速；

根据所述待模拟船的航行状态构建马尔可夫决策过程数学模型；

在所述马尔可夫决策过程数学模型的环境下构建基于DQN的变稳控制模型；

根据所述待模拟船的航行状态和所述变稳控制模型获取目标控制量，所述目标控制量包括目标舵角和目标螺旋桨转速；

根据所述目标控制量进行所述变稳船的变稳控制。

本发明实施例的一种变稳船变稳控制方法，通过根据待模拟船的航行状态构建马尔可夫决策过程数学模型，建立了深度强化学习应用于变稳船变稳控制的环境模型；通过在马尔可夫决策过程数学模型的环境下构建基于DQN的变稳控制模型，并根据待模拟船的航行状态和构建的变稳控制模型获取目标控制量，使得与环境交互并经过深度强化学习得到的目标控制量具有更强的抗干扰性，从而在根据目标控制量进行变稳船的变稳控制时提高了变稳控制的可靠性、稳定性和精确度，提高了变稳船的航行状态与待模拟船的航行状态一致性。

另外，根据本发明上述实施例的一种变稳船变稳控制方法，还可以具有以下附加的技术特征：

进一步地，本发明实施例的一种变稳船变稳控制方法中，所述根据所述待模拟船的航行状态构建马尔可夫决策过程数学模型，包括：

根据所述待模拟船的航行状态建立运动学模型；

根据所述运动学模型构建马尔可夫决策过程数学模型。