[发明专利]基于强化学习而在自动驾驶时优化资源分配的方法及装置

说明书

本发明是基于强化学习而在自动驾驶时优化资源分配的方法及装置。本发明涉及用于自动驾驶车辆的优化资源分配所需的方法及装置。更详细而言，其特征在于，包括：(a)步骤，计算装置获得至少一个注意力传感器数据后，使注意力网络计算一个以上的注意力分值；(b)步骤，所述计算装置使探测网络至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；(c)步骤，所述计算装置使驱动网络获得表示行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励；(d)步骤，所述计算装置使所述注意力网络，以所述奖励为参照，调整所述神经网络运算中使用的一个以上参数的至少一部分。

技术领域

本发明涉及用于自动驾驶车辆的方法及装置。更详细而言，涉及一种在基于强化学习的、自动驾驶时执行高效资源分配的方法。

背景技术

自动驾驶系统由于耗电大，因而节省电力是重要的。作为构成自动驾驶系统的构成要素之一的照相机，其电力消耗大，在特定情况下，即，在冷清的高速公路上行驶，周边不存在障碍物时，或在特定方向上不存在障碍物时，可以只需要较少数量的照相机。在这种情况下，如果使所有照相机运转，则存在浪费大量电力的大问题。

因此，需要一种能够减小这种电力浪费、高效分配诸如电力的资源的技术，如要以CNN(Convolutional Neural Network，卷积神经网络)来体现这种技术，则由于无法轻松定义这种情况的GT(Grand Truth，地面真值)，因而难以明确地定义损失，因而造成学习困难。因此，可以利用不需要GT的作为深度学习方法之一的强化学习。但是，如要通过强化学习来学习这种功能，则需在模块的实际运转中进行学习。例如，在自动驾驶的情况下，为了执行强化学习，车辆需要实际行驶。但是，在车辆实际行驶并学习的情况下，发生车辆事故的可能性高。

发明内容

本发明的目的在于解决上述问题。

本发明目的在于，在基于强化学习的自动驾驶时，执行高效资源分配，减小自动驾驶车辆的电力消耗。

本发明目的在于，提供自动驾驶车辆借助于强化学习而优化资源分配的虚拟空间，从而减小学习过程中的潜在的危险要素。

本发明的目的是通过以下技术方案实现的：

根据本发明的一个方面，提供一种借助于强化学习而在自动驾驶时执行高效资源分配的方法，其特征在于，包括：(a)步骤，计算装置获得至少一个注意力传感器数据后，使注意力网络参照所述注意力传感器数据，执行至少一个神经网络运算，从而计算一个以上的注意力分值；(b)步骤，所述计算装置使探测网络参照所述注意力分值，借助于自动驾驶车辆上安装的一个以上照相机中至少一部分而获得至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；(c)步骤，所述计算装置使驱动网络参照所述判断数据，使所述自动驾驶车辆行驶，获得表不行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励；(d)步骤，所述计算装置使所述注意力网络参照所述奖励，调整所述神经网络运算中使用的一个以上参数的至少一部分。

一个实施例，提供一种方法，其特征在于，在所述(a)步骤中，所述神经网络运算包括供所述注意力传感器数据输入的至少一个卷积层、至少一个池化层、至少一个全连接FC层及输出所述注意力分值的至少一个柔性最大值传输函数SoftMax层的运算，对于所述自动驾驶车辆附近空间包括的各角度范围，均决定至少一个行驶危险等级。

一个实施例，提供一种方法，其特征在于，在所述(b)步骤中，

所述计算装置使所述探测网络获得与具有第一临界值以上的所述注意力分值的特定角度范围对应的、所述自动驾驶车辆上安装的特定照相机的特定视频数据。