[发明专利]复杂场景下的无人驾驶汽车决策系统及决策方法

说明书

本发明公开了一种复杂场景下的无人驾驶汽车决策系统及决策方法。该系统包括决策模块和自学习模块，决策模块与自学习模块相互连接。决策模块包括元网络和强化学习决策网络，自学习模块包括孪生元网络和孪生强化学习决策网络。元网络分别与强化学习决策网络、孪生元网络连接，孪生元网络与孪生强化学习决策网络连接。元网络由三个多层全连接神经网络构成，强化学习决策网络由动作网络和评价网络组成，决策模块与自学习模块的神经网络结构涉及相同。本发明相比现有技术，通过对环境特征进行分层迁移学习的方式，有效应对了无人驾驶场景的长尾效应，增强了对复杂无人驾驶场景的适应性和决策灵活性。

技术领域

本发明属于无人驾驶汽车的技术领域，具体涉及一种复杂场景下的无人驾驶汽车决策系统及决策方法。

背景技术

目前，无人驾驶汽车仍很难落地于真实场景。当下，无人驾驶汽车中的决策系统或方法大多基于数据驱动，且仅在少量高频场景下进行模拟和测试，对其他大量低频的陌生场景或未经训练测试的场景，现有决策系统和方法往往难以做到有效的训练类型覆盖，导致无人车决策系统适应能力较差。

现有的无人驾驶汽车的决策系统和方法大多数基于深度学习，为了能够适应不同场景深度学习网络需要做出妥协，无法有针对性进行最优决策，导致出现灾难性遗忘引起安全问题。此外，尽管基于元强化学习的方法在深度学习中被广泛应用，但元强化学习的方法只能够有效应对已训练场景和部分近似场景，而对驾驶场景的“长尾效应”显然无法应对，特别是与训练场景相似度较低的陌生复杂场景难以进行识别决策。

发明内容

为了克服现有技术存在的一个或者多个缺陷与不足，本发明的第一目的在于提供一种复杂场景下的无人驾驶汽车决策系统，第二目的在于提供一种复杂场景下的无人驾驶汽车决策方法，从而有效应对与训练场景相似度较低的陌生复杂无人驾驶场景。

为了达到上述目的，本发明采用以下的技术方案。

一种复杂场景下的无人驾驶汽车决策系统，包括决策模块、自学习模块；

决策模块、自学习模块均分别为神经网络，决策模块与自学习模块相互连接；决策模块与自学习模块的输入均分别为无人驾驶场景的环境分层特征，输出均分别为相应无人驾驶的决策动作；

决策模块用于对已经训练过的无人驾驶场景的环境分层特征进行学习得到相应无人驾驶的决策动作；

自学习模块用于对没有训练过的无人驾驶场景的环境分层特征进行训练得到相应无人驾驶的决策动作，并将训练过程中产生的与环境分层特征对应的权重参数更新到决策模块；

环境分层特征包括无人驾驶场景的静态特征、软约束特征、动态特征，权重参数包括静态权重、软约束权重、动态权重，决策动作包括目标车速、目标位置。

优选地，决策模块包括元网络、强化学习决策网络；

元网络与强化学习决策网络相互连接；

元网络用于学习已经训练过的无人驾驶场景的环境分层特征得到相应的权重参数，并将权重参数作为强化学习决策网络进行学习的约束条件；

强化学习决策网络用于根据环境分层特征，在约束条件下学习得到相应无人驾驶场景的决策动作。

进一步地，元网络包括静态权重网络、软约束权重网络、动态权重网络；

静态权重网络、软约束权重网络、动态权重网络均分别为多层全连接神经网络，静态权重网络、软约束权重网络、动态权重网络分别与强化学习决策网络连接；

静态权重网络用于根据已经训练过的无人驾驶场景的静态特征学习得到静态权重；

软约束权重网络用于根据已经训练过的无人驾驶场景的软约束特征学习得到软约束权重；

动态权重网络用于根据已经训练过的无人驾驶场景的动态特征学习得到动态权重。