[发明专利]基于Unity3D和深度增强学习的智能无人农用驾驶训练方法

说明书

基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，包括步骤1、在Unity3D中建立经典农田场景，经典农田场景中包括多种环境参量；步骤2、由驾驶员基于经典农田场景进行仿真操作，并将操作过程参量化，得到操作参量；步骤3、根据环境参量和操作参量构建卷积神经网络；步骤4、对卷积神经网络进行预训练，得到预训练智能体；步骤5、随机生成动态农田场景，并且在动态农田场景中加入随机环境参量；步骤6、将预训练智能体投入动态农田场景中，利用深度增强学习算法进行自我训练，得到强化智能体；步骤7、在动态农田场景中，提升部分随机环境参量的频率，对强化智能体进行重复训练。本发明能够快速、高效地提高驾驶员的驾驶能力。

技术领域

本发明涉及农机无人驾驶技术领域，具体的说是基于Unity3D和深度增强学习的智能无人农用驾驶训练方法。

背景技术

随着科技的发展，农业机械越来越趋向于智能化，农业机械自动驾驶技术是高效农业的关键技术。实际生产生活农机所处的自然环境有很多未知的问题需要处理，农机在作业时可能会遇到电线杆、人以及其他机械等障碍物或接近地头，此时农机需要自动做出避障决策。不同的农田又需要不同的路径规划，从而使农机能够更加高效的作业。由此才能做到对人和农机的安全保护，同时又能最大的发挥自主导航农业车辆的生产效率。如何让农机适应各种意想不到的复杂场景，是智能农机安全的实现自主无人作业的一个关键问题。

近年来，深度强化学习在学术界发展迅猛，尤其在复杂环境中的控制任务中表现不俗。深度学习在很多传统的识别任务中，识别率都获得了显著的提高。许多其他领域也尝试用深度学习来解决一些本领域的问题。深度学习应用在物体检测的应用已经有了一些研究，尤其是与强化学习的结合，展现了其独特的优势。深度强化学习是深度学习与强化学习相结合的一个领域，它能够实现从感知到动作的端对端学习的一种全新的方法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作。

在中国专利CN201710156019.9(用于农机无人驾驶的避障路径规划及其控制方法)中公开了一种农机无人驾驶的避障路径规划及其控制方法，通过传感器获取农机环境信息做出避障决策，使用改进的最短切线法计算出一条理论避障路径，利用曲线的路径优化方法优化理论避障路径得到实际避障路径。这种避障方法只能做到探测是否存在障碍物以及进行单纯的绕行避障，并且只能做到针对局部某一静态障碍物进行规避。这种避障方法规避障碍的方式过于单一，智能程度较浅。

发明内容

为了解决现有技术中的不足，本发明提供一种基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，能够使智能体在计算机环境中进行农机驾驶训练，并且提供大量的复杂环境来提高智能体的驾驶能力。

为了实现上述目的，本发明采用的具体方案为：基于Unity3D和深度增强学习的智能无人农用驾驶训练方法，包括如下步骤：

步骤1、在Unity3D中建立经典农田场景，经典农田场景中包括多种环境参量；

步骤2、由驾驶员基于经典农田场景进行仿真操作，并将操作过程参量化，得到操作参量；

步骤3、根据环境参量和操作参量构建卷积神经网络；

步骤4、对卷积神经网络进行预训练，得到预训练智能体；

步骤5、随机生成动态农田场景，并且在动态农田场景中加入随机环境参量；

步骤6、将预训练智能体投入动态农田场景中，利用深度增强学习算法进行自我训练，得到强化智能体；

步骤7、在动态农田场景中，提升部分随机环境参量的频率，对强化智能体进行重复训练。

所述步骤1中，环境参量包括天气、地貌、场景和操作规范。

所述步骤2中，操作参量包括油门动作、刹车动作和方向盘动作。