[发明专利]一种自动驾驶控制方法、装置、设备及可读存储介质

权利要求书

1.一种自动驾驶控制方法，其特征在于，包括：

初始化深度强化学习自动驾驶决策系统的系统参数；其中，所述深度强化学习自动驾驶决策系统包括：无噪声策略网络、有噪声策略网络；

获取车辆交通环境状态信息；

将所述车辆交通环境状态信息分别输入至所述无噪声策略网络以及所述有噪声策略网络进行自动驾驶策略生成，得到无噪声策略以及有噪声策略；

根据所述有噪声策略与所述无噪声策略，在扰动阈值范围内调整注入至所述有噪声策略网络的噪声参数；其中，所述根据所述有噪声策略与所述无噪声策略，在扰动阈值范围内调整注入至所述有噪声策略网络的噪声参数，包括：计算所述有噪声策略与所述无噪声策略间的策略差异；判断所述策略差异是否超过所述扰动阈值；若超过，将所述策略差异与调制因子的商作为所述噪声参数；若未超过，将所述策略差异与所述调制因子的乘积作为所述噪声参数；其中，所述调制因子大于1；

根据所述噪声参数对所述有噪声策略网络的系统参数进行参数优化，生成优化有噪声策略网络；

根据所述优化有噪声策略网络生成的驾驶策略进行自动驾驶控制。

2.根据权利要求1所述的自动驾驶控制方法，其特征在于，所述根据所述噪声参数对所述有噪声策略网络的系统参数进行参数优化，包括：

根据所述有噪声策略对所述无噪声策略网络的系统参数进行参数优化，并将优化后的所述无噪声策略网络的系统参数作为原始参数；

将所述原始参数与所述噪声参数的和，作为所述有噪声策略网络的优化系统参数。

3.根据权利要求1所述的自动驾驶控制方法，其特征在于，在所述根据所述优化有噪声策略网络生成的驾驶策略进行自动驾驶控制之前，还包括：

确定所述参数优化的执行次数；

判断所述执行次数是否达到训练次数阈值；

若所述执行次数达到所述训练次数阈值，执行所述根据所述优化有噪声策略网络生成的驾驶策略进行自动驾驶控制的步骤；

若所述执行次数未达到所述训练次数阈值，执行所述获取车辆交通环境状态信息的步骤。

4.根据权利要求3所述的自动驾驶控制方法，其特征在于，还包括：

若接收到出现驾驶事故通知，执行所述初始化深度强化学习自动驾驶决策系统的系统参数的步骤。

5.一种自动驾驶控制装置，其特征在于，包括：

参数初始化单元，用于初始化深度强化学习自动驾驶决策系统的系统参数；其中，所述深度强化学习自动驾驶决策系统包括：无噪声策略网络、有噪声策略网络；

环境获取单元，用于获取车辆交通环境状态信息；

策略生成单元，用于将所述车辆交通环境状态信息分别输入至所述无噪声策略网络以及所述有噪声策略网络进行自动驾驶策略生成，得到无噪声策略以及有噪声策略；

噪声调整单元，用于根据所述有噪声策略与所述无噪声策略，在扰动阈值范围内调整注入至所述有噪声策略网络的噪声参数；其中，所述噪声调整单元包括：差异计算子单元，用于计算所述有噪声策略与所述无噪声策略间的策略差异；差异判断子单元，用于判断所述策略差异是否超过所述扰动阈值；若超过，触发第一处理子单元；若未超过，触发第二处理子单元；所述第一处理子单元，用于将所述策略差异与调制因子的商作为所述噪声参数；所述第二处理子单元，用于将所述策略差异与所述调制因子的乘积作为所述噪声参数；其中，所述调制因子大于1；

参数优化单元，用于根据所述噪声参数对所述有噪声策略网络的系统参数进行参数优化，生成优化有噪声策略网络；

驾驶控制单元，用于根据所述优化有噪声策略网络生成的驾驶策略进行自动驾驶控制。

6.根据权利要求5所述的自动驾驶控制装置，其特征在于，所述参数优化单元包括：

参数确定子单元，用于根据所述有噪声策略对所述无噪声策略网络的系统参数进行参数优化，并将优化后的所述无噪声策略网络的系统参数作为原始参数；

求和优化子单元，用于将所述原始参数与所述噪声参数的和，作为所述有噪声策略网络的优化系统参数。