[发明专利]一种基于人工智能的训练无人机控制模型的方法及系统

权利要求书

1.一种基于人工智能的训练无人机控制模型的方法，其特征在于，包括：

在预先构建的模拟环境中，利用无人机的传感器数据、目标状态信息以及所述无人机在深度神经网络输出的控制信息作用下的状态信息，得到训练数据；

利用在模拟环境中得到的训练样本，训练所述深度神经网络模型，直至达到最小化所述无人机在深度神经网络输出的控制信息作用下的状态信息与目标状态信息之间的差距条件之后；利用实际环境中得到的训练样本，训练所述在模拟环境中训练后的深度神经网络模型，得到无人机控制模型，所述无人机控制模型用于根据无人机的传感器数据和目标状态信息得到对无人机的控制信息。

2.根据权利要求1所述的方法，其特征在于，所述在预先构建的模拟环境中，利用无人机的传感器数据、目标状态信息以及所述无人机在无人机控制模型输出的控制信息作用下的状态信息，得到训练数据包括：

在预先构建的模拟环境中，将传感器数据和目标状态信息作为所述深度神经网络的输入，由所述深度神经网络输出相应的控制信息；

根据无人机在深度神经网络输出的控制信息作用下的状态信息与目标状态信息的差距，判断控制信息是否符合达成目标状态信息的预期，给出正/负反馈；

将传感器数据、目标状态信息、控制信息作为训练样本。

3.根据权利要求1所述的方法，其特征在于，所述目标状态信息包括连续随机的目标状态信息。

4.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括基于深度确定性策略梯度的深度强化学习神经网络。

5.根据权利要求1所述的方法，其特征在于，所述无人机控制模型包括深度神经网络以及Q值预估网络；

所述策略网络负责根据传感器数据以及目标状态信息输出相应的控制信息；

所述Q值预估网络负责根据传感器数据、目标状态信息以及策略网络输出的控制信息对所述控制信息进行评价。

6.一种控制无人机的方法，其特征在于，该方法包括：

获取被控无人机的传感器数据；

将所述传感器数据和目标状态信息输入无人机控制模型，得到所述无人机控制模型输出的控制信息；

将所述控制信息输出至所述被控无人机；

其中所述无人机控制模型是利用如权利要求1～5任一权项所述方法预先建立的。

7.一种基于人工智能的训练无人机控制模型的系统，其特征在于，包括训练数据获取单元和神经网络训练单元；其中，

所述训练数据获取单元，用于在预先构建的模拟环境中，利用无人机的传感器数据、目标状态信息以及所述无人机在深度神经网络输出的控制信息作用下的状态信息，得到训练数据；

所述神经网络训练单元，用于利用在模拟环境中得到的训练样本，训练所述深度神经网络模型，直至达到最小化所述无人机在深度神经网络输出的控制信息作用下的状态信息与目标状态信息之间的差距条件之后；利用实际环境中得到的训练样本，训练所述在模拟环境中训练后的深度神经网络模型，得到无人机控制模型，所述无人机控制模型用于根据无人机的传感器数据和目标状态信息得到对无人机的控制信息。

8.根据权利要求7所述的系统，其特征在于，所述训练数据获取单元进一步用于，在预先构建的模拟环境中，将传感器数据和目标状态信息作为所述深度神经网络的输入，由所述深度神经网络输出相应的控制信息；

根据无人机在深度神经网络输出的控制信息作用下的状态信息与目标状态信息的差距，判断控制信息是否符合达成目标状态信息的预期，给出正/负反馈；

将传感器数据、目标状态信息、控制信息作为训练样本。

9.根据权利要求7所述的系统，其特征在于，所述目标状态信息包括连续随机的目标状态信息。

10.根据权利要求7所述的系统，其特征在于，所述深度神经网络包括基于深度确定性策略梯度的深度强化学习神经网络。