[发明专利]基于强化学习而在自动驾驶时优化资源分配的方法及装置

权利要求书

1.一种借助于强化学习而在自动驾驶时执行高效资源分配的方法，其特征在于，包括：

(a)步骤，包括注意力网络、探测网络、以及驱动网络而构成的计算装置获得至少一个注意力传感器数据后，利用所述注意力网络参照所述注意力传感器数据，执行至少一个神经网络运算，从而计算一个以上的注意力分值，所述注意力传感器数据使用雷达获得，或使用激光雷达获得，或使用两者获得；

(b)步骤，所述计算装置利用所述探测网络参照所述注意力分值，借助于自动驾驶车辆上安装的一个以上照相机中至少一部分而获得至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；

(c)步骤，所述计算装置利用所述驱动网络参照所述判断数据，使所述自动驾驶车辆行驶，获得表不行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励，所述情况数据包括(i)关于距所述自动驾驶车辆既定距离内至少一个相邻的周边车辆的至少一个车辆喇叭是否为使用中的信息、(ii)所述至少一个相邻的周边车辆的速度变化信息、(iii)所述自动驾驶车辆与所述相邻的周边车辆的至少一个事故信息中至少一部分；

(d)步骤，所述计算装置利用所述注意力网络参照所述奖励，调整所述神经网络运算中使用的一个以上参数的至少一部分。

2.根据权利要求1所述的方法，其特征在于，

在所述(a)步骤中，

所述神经网络运算包括以所述注意力传感器数据作为输入的至少一个卷积层的运算、以所述卷积层的运算结果作为输入的至少一个池化层的运算、以所述池化层的运算结果作为输入的至少一个全连接FC层的运算、及以所述FC层的运算结果作为输入并输出所述注意力分值的至少一个柔性最大值传输函数SoftMax层的运算，对于所述自动驾驶车辆附近空间包括的各角度范围，均决定至少一个行驶危险等级。

3.根据权利要求1所述的方法，其特征在于，

在所述(b)步骤中，

所述计算装置使所述探测网络获得与具有第一临界值以上的所述注意力分值的特定角度范围对应的、所述自动驾驶车辆上安装的特定照相机的特定视频数据。

4.根据权利要求1所述的方法，其特征在于，

在所述(b)步骤中，

所述计算装置使所述探测网络使用至少一个区域被设置为至少一个关注区域ROI的所述视频数据，生成所述判断数据，且所述区域是与具有第一临界值以上的注意力分值的特定角度范围对应的区域。

5.根据权利要求1所述的方法，其特征在于，

在所述(a)步骤中，

在使用所述激光雷达或使用所述雷达及所述激光雷达两者而获得所述注意力传感器数据的情况下，所述计算装置使所述注意力网络参照所述注意力传感器数据所包含的三维坐标，生成至少一个稀疏深度图像，对所述稀疏深度图像应用至少一个平滑运算，生成至少一个高密度深度图像，并参照所述高密度深度图像，执行所述神经网络运算，从而计算所述注意力分值。

6.根据权利要求1所述的方法，其特征在于，

所述自动驾驶车辆在虚拟空间中体现，通过所述自动驾驶车辆在所述虚拟空间行驶的过程，调整所述参数的至少一部分。

7.根据权利要求6所述的方法，其特征在于，

参照在所述虚拟空间中位于距所述自动驾驶车辆既定距离以内的一个以上虚拟客体间关系的相关信息，对所述注意力传感器数据、所述视频数据、所述情况数据的变形进行编程，从而获得所述注意力传感器数据、所述视频数据、所述情况数据。

8.根据权利要求6所述的方法，其特征在于，

对所述虚拟空间进行编程，使得(i)使得如果检测到存在距所述自动驾驶车辆既定距离以内的周边车辆在第一临界时间内与所述自动驾驶车辆碰撞的可能性，则使所述虚拟空间中的至少一个所述周边车辆鸣响喇叭，(ii)如果检测到存在所述周边车辆在第二临界时间内与所述自动驾驶车辆碰撞的可能性，则减小所述周边车辆的速度；所述第一临界时间大于或等于所述第二临界时间。