[发明专利]基于Unity3D和深度增强学习的智能无人农用驾驶训练方法

权利要求书

1.基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：包括如下步骤：

步骤1、在Unity3D中建立经典农田场景，经典农田场景中包括多种环境参量；

步骤2、由驾驶员基于经典农田场景进行仿真操作，并将操作过程参量化，得到操作参量；

步骤3、根据环境参量和操作参量构建卷积神经网络；

步骤4、对卷积神经网络进行预训练，得到预训练智能体；

步骤5、随机生成动态农田场景，并且在动态农田场景中加入随机环境参量；

步骤6、将预训练智能体投入动态农田场景中，利用深度增强学习算法进行自我训练，得到强化智能体；

步骤7、在动态农田场景中，提升部分随机环境参量的频率，对强化智能体进行重复训练。

2.如权利要求1所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤1中，环境参量包括天气、地貌、场景和操作规范。

3.如权利要求1所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤2中，操作参量包括油门动作、刹车动作和方向盘动作。

4.如权利要求1所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤3中，以环境参量作为卷积神经网络的输入，并且记为X，以操作参量作为卷积神经网络的输出，并且记为y，将驾驶员操作数据记为t，则卷积神经网络的平方误差为

5.如权利要求4所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤4中，对卷积神经网络进行预训练的方法包括：

步骤4.1、利用平方误差E根据链式法则计算卷积神经网络权重w的偏导数，具体方法为

其中o为神经元的输出，net为神经元的输入；

步骤4.2、引入学习速率α，根据平方误差和权重的偏导数对权重w进行更新，具体方法为

6.如权利要求5所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤5中，随机环境参量还包括移动障碍物、天气变化和交通限制。

7.如权利要求6所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤6中，利用深度增强学习算法进行自我训练的方法包括：

步骤6.1、构建策略网络，以随机环境参量作为策略网络的输入，以智能体为了应对随机环境参量做出的操作作为输出；

步骤6.2、在策略网络中加入奖励机制；

步骤6.3、依照预训练模型中的卷积神经网络结构设置Actor网络和Critic网络；

步骤6.4、通过Ornstein-Uhlenbeck过程加入随机参数；

步骤6.5、通过经验回放对Actor网络进行更新。

8.如权利要求7所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤6.1中，策略网络表示为π_θ(s,α)＝P[α|s,θ]，其中s为当前状态，α为所采取的行为，θ为策略参数。

9.如权利要求8所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤6.2中，引入衰减系数γ，r为每个状态的奖励值，总的奖励机制表示为R＝r₁+γ²r₂+......γⁿr_n。

10.如权利要求9所述的基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，其特征在于：所述步骤6.4中，通过Ornstein-Uhlenbeck过程加入随机参数的方法表示为dx_t＝θ(μ-x_t)dt+σdW_t，其中的θ表示变量向均值变化的速度，μ表示均值，σ为过程的自由度，x和W代表过程作用的控制量。