[发明专利]一种用于中继充电路径规划的深度强化学习方法及系统

说明书

本发明实施例提供一种用于中继充电路径规划的深度强化学习方法及系统，包括构建用于中继充电路径规划的数学模型；根据所述数学模型构建用于中继充电路径规划的深度强化学习模型；对所述深度强化学习模型进行训练，得到所述深度强化学习模型的应用模型；将运输工具要访问的客户点和中继充电站点的位置输入所述应用模型，得到所述运输工具的路径规划的解。通过该方案，在规划物流工具用于中继充电路径时，具有较高的工作效率，并能取得更优的规划结果。

技术领域

本发明涉及物流技术领域，具体涉及一种用于中继充电路径规划的深度强化学习方法及系统。

背景技术

电动汽车、无人机等新兴运输工具在环保、成本等方面具有很大优势，在最近物流配送领域应用越来越广泛。由于其续航能力限制，一般需要中途进行充电，才能完成所有客户点的访问，使得电动汽车、无人机等新兴运输工具的行驶路径规划更加复杂。

电动汽车、无人机等在路径规划中的应用引出了一类新的规划问题—中继充电的路径规划问题。该问题是传统路径规划问题的延伸和扩展，其不仅需要考虑客户点的访问顺序，还需要考虑车辆或无人机是否能到达下一个客户点，从而决定是否要访问中继充电站进行充电，在哪个位置充电，访问哪个充电站等。其还有两点不同于传统的路径规划问题在于其具有有序性和有向性。在传统路径规划问题中车辆可以从路径中任一客户点出发，按顺序访问完所有顾客点后返回出发的点，且传统的路径规划确定了客户点的访问顺序后，反方向行驶也是一样的。但在中继充电的路径规划问题中，客户点的访问顺序受出发点的影响，同时客户点的访问顺序也影响访问充电站的位置以及访问的充电站。因此，中继充电的路径规划问题所有车辆或无人机有固定的出发点且具有方向性，车辆或无人机在访问完所有顾客点后最终返回出发点。总目标是使得总行驶距离最小。

在实现本发明的过程中，发明人发现现有技术至少存在如下问题：

针对该类问题传统的求解方法是通过构造式获得初始解，然后不断优化解的结构，从而获得更优的解，这通常需要耗费大量的时间才能获得满意的解。在现代物流中，每天面对成千上万条相似规模的数据需要求解，如何节约计算时间从而提高求解效率是需要解决的问题。

发明内容

本发明实施例提供一种用于中继充电路径规划的深度强化学习方法及系统，来使路径规划的效率更高、结果更准确。

为达上述目的，一方面，本发明实施例提供一种用于中继充电路径规划的深度强化学习方法，包括：

构建路径规划的数学模型；

根据所述数学模型构建所述路径规划的深度强化学习模型；

对所述深度强化学习模型进行训练，得到所述深度强化学习模型的应用模型；

将运输工具要访问的客户点和中继充电站点的位置输入所述应用模型，得到所述运输工具的路径规划的解。

另一方面，本发明实施例提供一种用于中继充电路径规划的深度强化学习系统，包括：

数学模型构建单元，用于构建路径规划的数学模型；

深度强化学习模型构建单元，用于根据所述数学模型构建所述路径规划的深度强化学习模型；

模型训练单元，用于对所述深度强化学习模型进行训练，得到所述深度强化学习模型的应用模型；

规划单元，用于将运输工具要访问的客户点和中继充电站点的位置输入所述应用模型，得到所述运输工具的路径规划的解。

上述技术方案具有如下有益效果：