[发明专利]一种从仿真环境迁移到真实场景的端到端竞速穿越方法

权利要求书

1.一种从仿真环境迁移到真实场景的端到端竞速穿越方法，应用于真实环境的无人机竞速轨迹规划，其特征在于，所述从仿真环境迁移到真实场景的端到端竞速穿越方法，包括：

基于无人机的前置摄像头采集当前位置下竞速赛道的局部图像；

将所述局部图像输入至训练好的端到端神经网络，得到端到端神经网络输出的预测速度和预测目标方向；

基于所述预测速度计算预测水平距离；

根据所述预测目标方向以及预测水平距离计算出目标位置；

生成当前位置至目标位置的轨迹片段，并控制无人机沿着轨迹片段运行至目标位置；

若目标位置为竞速赛道的终点，则完成轨迹规划；否则继续采集局部图像进行轨迹规划；

其中，所述端到端神经网络采用两阶段的训练方式，所述两阶段的训练方式包括：第一阶段在仿真环境数据集上进行训练，第二阶段把第一阶段训练好的端到端神经网络继续在包含仿真环境数据与真实环境数据的融合数据集上进行训练，将第二阶段训练好的端到端神经网络部署到真实环境的无人机上应用。

2.如权利要求1所述的从仿真环境迁移到真实场景的端到端竞速穿越方法，其特征在于，所述基于所述预测速度计算预测水平距离，包括：

d_test＝m_dv_out

其中，d_test为预测水平距离，m_d为生成轨迹片段的期望执行时间，v_out为端到端神经网络输出的预测速度。

3.如权利要求1所述的从仿真环境迁移到真实场景的端到端竞速穿越方法，其特征在于，所述根据所述预测目标方向以及预测水平距离计算出目标位置，包括：

沿前置摄像头的相机投影射线反向投影预测目标方向，并在等于预测水平距离的深度处得到目标位置。

4.如权利要求1所述的从仿真环境迁移到真实场景的端到端竞速穿越方法，其特征在于，所述融合数据集中仿真环境数据与真实环境数据的数据量比值为1:1。

5.如权利要求1所述的从仿真环境迁移到真实场景的端到端竞速穿越方法，其特征在于，所述端到端神经网络的训练过程如下：

生成经过竞速赛道上所有门的全局参考轨迹；

根据无人机的前置摄像头从仿真环境数据集或融合数据集中获取对应的局部图像，并把局部图像输入端到端神经网络，得到端到端神经网络输出的预测速度和预测目标方向；

基于所述预测速度计算训练用预测水平距离；

根据无人机的当前位置确定所述全局参考轨迹上距离最近的投影位置点；

在所述全局参考轨迹上确定与当前位置相距所述训练用预测水平距离，且位于投影位置点前方的点作为期望位置；

将期望位置映射至前置摄像头的图像平面上得到期望目标方向，将全局参考轨迹上的最大速度与端到端神经网络输出的预测速度的乘积作为期望速度；

根据预测速度、预测目标方向、期望速度和期望目标方向计算端到端神经网络的损失函数，并根据损失函数更新端到端神经网络的参数；

若达到训练结束条件，则输出端到端神经网络；否则继续训练。

6.如权利要求5所述的从仿真环境迁移到真实场景的端到端竞速穿越方法，其特征在于，所述全局参考轨迹采用最小震荡轨迹的方法生成。

7.如权利要求5所述的从仿真环境迁移到真实场景的端到端竞速穿越方法，其特征在于，所述基于所述预测速度计算训练用预测水平距离，包括：

d_train＝max(d_min,min(||s_last||,||s_next||))

其中，d_train为训练用预测水平距离，d_min为最小预测水平距离，||s_last||是无人机的当前位置到上一个门的距离，||s_next||表示无人机的当前位置到下一个门的距离。