[发明专利]无人车的自主避障方法及装置、电子设备、可读存储介质

说明书

本发明提供了一种无人车的自主避障方法及装置、电子设备、可读存储介质，包括：获取当前状态信息；根据当前状态信息和历史状态信息，避障网络产生预测评价高的动作信息；执行该前动作信息，重复上述过程，直至到达目的地；其中，避障网络包括动作生成网络和策略评价网络；前者根据当前状态信息和历史状态信息，得到融合状态信息；再根据融合状态信息预测当前动作信息；后者根据回报值、融合状态信息和当前动作信息，得到当前动作信息的预测评价；根据该预测评价调整后续的动作产生策略。本发明通过在强化学习中引入循环神经网络和注意力机制对过去的异常状态给予更高的关注度，使无人车凭借对以往异常状态的记忆，作出有效避障。

技术领域

本发明涉及无人驾驶领域，尤指一种无人车的自主避障方法及装置、电子设备、可读存储介质。

背景技术

在未知环境中，无人车运行需要注意躲避任意可能的静态和动态障碍物。为了实现此目的，控制算法需要考虑一系列由外部传感器获取的环境信息。

随着人工智能的发展，强化学习方法被尝试应用在无人车控制中。强化学习的目的是通过智能体与环境的交互学习最优的行为。强化学习是一种无监督学习，训练样本来源于智能体与环境的互动经历，不需要样本标注，可有效地解决环境中存在的特殊情况。同时为了适应高维度数据空间的预测场景，在强化学习架构的基础上引入了大规模深度学习，使得预测得到的动作空间更适应多变的场景。

无人车的自主避障是一个不仅与当前状态相关、还与前序状态相关，而且实时性要求比较高的部分可观测马尔可夫过程。比如，无人车在t_n时刻探测到前方一定距离存在障碍，但是随着无人车的位置、或位姿调整，在t_(n+x)时刻，之前探测的路障有可能处于视野盲区，这就要求无人车凭借对以往状态的记忆作出适时地控制。具体的，比如，当车头距离路边沿一定范围时能看到路边沿，但是当车头靠近路边沿的时候，车头逐渐遮盖住了路边沿，于是视野范围内看不到路边沿，此时需要无人车凭借对以往状态的记忆及时作出转向。但是目前基于现有的深度强化学习算法，如RDPG、DDPG(深度确定性策略梯度算法)等，构建的模型在上述场景中表现一般，甚至无法收敛。

发明内容

本发明的目的之一是为了克服现有技术中存在的至少部分不足，提供一种无人车的自主避障方法及装置、电子设备、可读存储介质。

本发明提供的技术方案如下：

一种无人车的自主避障方法，包括：获取当前状态信息，所述当前状态信息包括当前的环境状态信息和无人车的当前状态；根据所述当前状态信息和历史状态信息，经训练好的避障网络产生当前动作信息；执行所述当前动作信息，重复上述过程，获取下一状态信息，根据下一状态信息更新所述当前动作信息，如此循环，直至所述无人车到达目的地；其中，所述避障网络采用Actor-Critic结构，包括动作生成网络和策略评价网络；所述动作生成网络，用于根据所述当前状态信息和所述历史状态信息，经第一循环神经网络处理，得到融合状态信息；根据所述融合状态信息预测当前动作信息；所述策略评价网络，用于获取在所述当前状态信息下执行所述当前动作信息得到的回报值；根据所述回报值、所述融合状态信息和所述当前动作信息，经所述第二循环神经网络处理，得到所述当前动作信息的预测评价；所述动作生成网络根据所述预测评价，调整后续的动作产生策略。

进一步地，所述的根据所述回报值、所述融合状态信息和所述当前动作信息，经所述第二循环神经网络处理，得到所述当前动作信息的预测评价，包括：根据所述回报值、所述融合状态信息和所述当前动作信息，得到状态动作融合信息；根据所述状态动作融合信息，经第二全连接神经网络处理，得到预评价信息；将所述状态动作融合信息和所述预评价信息经过一步注意力处理，得到权重矫正的状态动作融合信息；根据所述权重矫正的状态动作融合信息和历史动作信息的预测评价，经所述第二循环神经网络处理，得到所述当前动作信息的预测评价。