[发明专利]基于示教学习的决策树行为决策算法

说明书

本发明公开了一种基于示教学习的决策树行为决策算法，主要解决现有技术中存在的现有决策算法不能同时兼顾综合复杂的场景和稳定的要求的问题。该一种基于示教学习的决策树行为决策算法包括步骤为：存储示教轨迹的状态转移规律；求取状态转移频率矩阵和状态转移概率矩阵；构建奖励；决策树对即将产生的动作进行评估；更新转移频率矩阵与状态转移概率矩阵；重复上述过程至评估通过。通过上述方案，本发明达到了无人驾驶行为决策应的最大合理性和安全性目的。

技术领域

本发明涉及无人驾驶领域，具体地说，是涉及一种基于示教学习的决策树行为决策算法。

背景技术

无人驾驶汽车是具有自主行驶能力移动机器人的一种高级形态。它是能够实现环境感知、决策规划与运动控制三大功能于一体的智能计算系统。系统相对其它小型移动机器人来说，结构比较复杂。除了基本的移动行驶能力外，具有运用雷达、摄像头等各种传感器配合特制的高精度地图进行即时的数据融合与定位，实现对当前环境的感知理解。同时，根据感知器理解的道路和运动障碍物信息，车辆运用决策规划算法切出合理可行的预期轨迹，由控制模块进行最终的车辆移动行为实施。整个智能计算系统包括了车道线检测、障碍物识别、高精度地图、高精度定位、决策规划算法和控制器设计等重要的关键技术，涉及众多学科知识，具有极高的理论研究意义与工程实践价值。

无人驾驶车辆研究的领域包括环境感知、行为决策、规划控制三大方向。其中，行为决策作为连接环境感知与规划控制的中枢位置，具有十分重要的地位，已经成为无人驾驶领域研究的重点和难点。行为决策是在当前环境下可选的几种可行性方案中挑选出符合自身行为目的的最佳方案过程。在这个过程中，往往需要特定的决策算法对采取行为之后的结果状态进行预测评价，力求在统一判断标准下做到选取最佳的行为。对于无人驾驶车辆而言，行为决策需要根据当前雷达、摄像头等传感器融合的数据信息获取对外部环境的感知理解，对车辆即将执行的下一个行为进行合理的预测，并根据决策算法将可选的行为以物理值的形式传递给规划控制系统，进一步实现决策模块的期望行为，以实现车辆的无人操作自主驾驶。

行为决策理论最早出现在心理学、管理学、经济学领域，后来逐渐拓展应用于其他方向。当前，关于车辆的行为决策主要集中于有限状态机、决策树、多属性决策等传统的经验方法和基于学习的预测方法。基于经验的设计方法不能拓展至综合复杂的场景；基于学习预测的方法虽然对行为有着难以确定的稳定性与安全性，不过对场景的适应能力要远优于基于经验的设计方法。从无人驾驶的发展来看，必然面临场景的复杂性与多变性这一问题，基于学习预测的方法将会成为实现车辆行为决策的最佳选项。示教学习作为一种基于学习预测的方法能够有效解决场景的可拓展性，是一种高效的行为决策解决方案。

在实际运用中，仅以示教学习作为无人驾驶行为决策的部分并不能解决该问题。无人驾驶的行为决策应确保行为的最大合理性。常见的示教学习均是理论上对无人驾驶的行为决策进行概率建模，很难从实际问题上最大程度避免行为的不合理性。另外，示教部分的数据并不能完全覆盖全域空间。示教数据从某种程度上而言，只是提供了较少的先验决策知识。对于无人驾驶行为决策问题，决策系统需要在先验知识上能够继续强化更新策略。

发明内容

本发明的目的在于提供一种基于示教学习的决策树行为决策算法，以解决现有决策算法很难从实际问题上最大程度避免行为的不合理性的问题。

为了解决上述问题，本发明提供如下技术方案：

一种基于示教学习的决策树行为决策算法包括如下步骤：

(a)用行为的状态转移频率矩阵和状态转移概率矩阵来描述示教学习中的示教规律，存储示教轨迹的状态转移规律；

(b)根据步骤(a)求取状态转移频率矩阵和状态转移概率矩阵；

(c)根据状态转移频率构建奖励；