[发明专利]训练神经网络来确定行人

说明书

本公开提供了“训练神经网络来确定行人”。公开了一种用于神经网络系统的训练系统和训练方法。所述方法可以包括：从传感器接收在操作员控制车辆时捕获的图像帧；使用与所述传感器相关联的眼睛跟踪系统，监测所述操作员的所述眼睛以确定眼球注视数据；根据所述图像帧确定多个行人；以及迭代地训练所述神经网络系统以使用所述眼球注视数据和基于所述眼球注视数据的应答数据集从所述多个行人中确定所述一个或多个目标行人，其中所确定的一个或多个目标行人与所述车辆碰撞的概率相对高于所述多个行人中的其他行人与所述车辆碰撞的概率。

技术领域

本公开总体上涉及车辆神经网络。

背景技术

自主车辆可以基于传感器输入来执行受计算机控制的转向和速度控制。在一些情况下，计算机可以预测行人的方向矢量(即，行人的速度和方向)。当车辆环境中存在大量行人时，这在计算上可能是繁重的。

发明内容

一种训练神经网络系统以确定一个或多个目标行人的方法可以包括：从传感器接收在操作员控制车辆时捕获的图像帧；使用与所述传感器相关联的眼睛跟踪系统，监测所述操作员的所述眼睛以确定眼球注视数据；根据所述图像帧确定多个行人；以及迭代地训练所述神经网络系统以使用所述眼球注视数据和基于所述眼球注视数据的应答数据集从所述多个行人中确定所述一个或多个目标行人，其中所确定的一个或多个目标行人与所述车辆碰撞的概率相对高于所述多个行人中的其他行人与所述车辆碰撞的概率。

根据上述方法示例和/或根据上述任何其他示例，所述眼睛跟踪系统是可穿戴眼睛跟踪系统，并且在所述传感器捕获所述图像帧时由所述操作员穿戴。

根据上述方法示例和/或根据上述任何其他示例，所述神经网络系统包括卷积神经网络(CNN)和完全连接的神经网络，其中所述CNN的输入是所述图像帧，其中所述CNN的输出被提供给所述完全连接的神经网络，其中所述完全连接的神经网络的输出是对所述一个或多个目标行人的指示。

根据上述方法示例和/或根据上述任何其他示例，所述神经网络系统包括行人检测算法和第一深度神经网络(第一DNN)，其中所述行人检测算法的输入是所述图像帧，其中所述第一DNN的输出是对所述一个或多个目标行人的指示。

根据上述方法示例和/或根据上述任何其他示例，所述神经网络系统还包括第二深度神经网络(第二DNN)和第三深度神经网络(第三DNN)，其中所述第二DNN的输入是所述图像帧，其中所述第二DNN的输出和所述第一DNN的输出是所述第三DNN的输入，其中所述第三DNN的输出是对所述一个或多个目标行人的指示。

根据上述方法示例和/或根据上述任何其他示例，迭代地训练所述神经网络系统还包括向所述第一DNN、所述第二DNN和所述第三DNN中的一者或多者提供眼球注视数据。

根据上述方法示例和/或根据上述任何其他示例，所述第一DNN和所述第三DNN各自是完全连接的神经网络，其中所述第二DNN是卷积神经网络。

根据上述方法示例和/或根据上述任何其他示例，与所述第二DNN相比，所述第一DNN具有不同数量的隐藏层、不同数量的神经元或两者。

根据上述方法示例和/或根据上述任何其他示例，迭代地训练所述神经网络系统包括利用所述行人检测算法、所述第一DNN、所述第二DNN和所述第三DNN中的每一者来评估后续图像帧。

根据上述方法示例和/或根据上述任何其他示例，所述行人检测算法是单发多框检测器算法(single shot multibox detector algorithm)。

根据上述方法示例和/或根据上述任何其他示例，所述方法还包括：重复所述接收、监测和确定步骤；以及对于每个相应的图像帧，基于所述眼球注视数据确定所述应答数据集。