[发明专利]考虑地面物理特性的星球车自主导航方法

权利要求书

1.一种考虑地面物理特性的星球车自主导航方法，其特征在于，包括：

基于深度强化学习，构建关于星球车的自主导航模型；

获取所述星球车的运行状态数据；

将所述运行状态数据输入所述自主导航模型，输出得到所述星球车的导航运动决策；

根据所述导航运动决策，控制所述星球车运动。

2.如权利要求1所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述运行状态数据包括所述星球车的运行参数数据与星球车所在处的环境数据。

3.如权利要求2所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述基于深度强化学习，构建关于星球车的自主导航模型包括：

构建关于所述星球车的待训练自主导航模型；

基于深度强化学习，采用仿真平台对所述待训练自主导航模型进行训练，得到所述自主导航模型。

4.如权利要求3所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述构建关于所述星球车的待训练自主导航模型包括：

构建关于所述星球车的基于马尔可夫决策过程的所述待训练自主导航模型；其中，所述待训练自主导航模型包括五元组：S，A，P，R，γ；

其中，S表示所述星球车的状态空间，A表示所述星球车的动作空间，P和R分别表示状态转移概率和奖励函数，并分别代表所述星球车采取动作a∈A使状态从状态s∈S转移到下一步状态s′∈S的概率和奖赏；γ∈[0,1]为折扣因子。

5.如权利要求4所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述构建关于所述星球车的基于马尔可夫决策过程的所述待训练自主导航模型之后，所述构建关于所述星球车的待训练自主导航模型还包括：

设计所述星球车的所述动作空间、所述状态空间以及所述奖励函数；

其中，所述奖励函数包括：目标点到达奖励函数、目标点接近奖励函数、车轮沉陷惩罚函数、车轮打滑惩罚函数、车体倾覆惩罚函数和车体碰撞惩罚函数。

6.如权利要求5所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述设计所述星球车的所述动作空间A、所述状态空间S以及所述奖励函数R之后，所述构建关于所述星球车的待训练自主导航模型还包括：

设计所述星球车的视—触融合自主导航网络框架；

所述基于深度强化学习，采用仿真平台对所述待训练自主导航模型进行训练，得到所述自主导航模型包括：

基于所述视—触融合自主导航网络框架，采用所述仿真平台对所述待训练自主导航模型进行训练，得到所述自主导航模型。

7.如权利要求6所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述环境数据包括星球车所在处环境的深度图像和/或彩色图像。

8.如权利要求7所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述视—触融合自主导航网络框架包括深度学习特征提取部分和强化学习运动决策部分；其中，深度学习特征提取部分包括深度图像特征提取器、彩色特征提取器和运动特征提取器。

9.如权利要求6-8中任一项所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述基于所述视—触融合自主导航网络框架，采用所述仿真平台对所述待训练自主导航模型进行训练，得到所述自主导航模型包括：

基于所述视—触融合自主导航网络框架和所述仿真平台，设计所述星球车自主导航的训练流程；

设计所述星球车自主导航的评价指标；

根据所述训练流程训练所述待训练自主导航模型，根据评价指标对所述训练流程及训练结果进行评价，根据所述评价结果确定所述自主导航模型。

10.如权利要求9所述的考虑地面物理特性的星球车自主导航方法，其特征在于，所述训练流程包括个人主机端仿真交互数据采集流程和服务器端自主导航模型训练流程，所述根据所述训练流程训练所述待训练自主导航模型包括：

通过个人主机端为星球车提供用于进行自主导航训练的仿真环境以及采集并存储星球车与所述仿真环境的仿真交互数据；

通过服务器端接收来自个人主机端的仿真交互数据，并结合仿真交互数据对所述待训练自主导航模型进行训练以优化所述待训练自主导航模型的参数。