[发明专利]训练神经网络来确定行人

权利要求书

1.一种训练神经网络系统以确定一个或多个目标行人的方法，其包括：

从传感器接收在操作员控制车辆时捕获的图像帧；

使用与所述传感器相关联的眼睛跟踪系统，监测所述操作员的所述眼睛以确定眼球注视数据；

根据所述图像帧确定多个行人；以及

迭代地训练所述神经网络系统以使用所述眼球注视数据和基于所述眼球注视数据的应答数据集从所述多个行人中确定所述一个或多个目标行人，

其中所确定的一个或多个目标行人与所述车辆碰撞的概率相对高于所述多个行人中的其他行人与所述车辆碰撞的概率。

2.如权利要求1所述的方法，其中所述眼睛跟踪系统是可穿戴眼睛跟踪系统，并且在所述传感器捕获所述图像帧时由所述操作员穿戴。

3.如权利要求1所述的方法，其中所述神经网络系统包括卷积神经网络(CNN)和完全连接的神经网络，其中所述CNN的输入是所述图像帧，其中所述CNN的输出被提供给所述完全连接的神经网络，其中所述完全连接的神经网络的输出是对所述一个或多个目标行人的指示。

4.如权利要求1所述的方法，其中所述神经网络系统包括行人检测算法和第一深度神经网络(第一DNN)，其中所述行人检测算法的输入是所述图像帧，其中所述第一DNN的输出是对所述一个或多个目标行人的指示。

5.如权利要求4所述的方法，其中所述神经网络系统还包括第二深度神经网络(第二DNN)和第三深度神经网络(第三DNN)，其中所述第二DNN的输入是所述图像帧，其中所述第二DNN的输出和所述第一DNN的输出是所述第三DNN的输入，其中所述第三DNN的输出是对所述一个或多个目标行人的指示。

6.如权利要求5所述的方法，其中迭代地训练所述神经网络系统还包括向所述第一DNN、所述第二DNN和所述第三DNN中的一者或多者提供眼球注视数据。

7.如权利要求5所述的方法，其中所述第一DNN和所述第三DNN各自是完全连接的神经网络，其中所述第二DNN是卷积神经网络。

8.如权利要求7所述的方法，其中与所述第二DNN相比，所述第一DNN具有不同数量的隐藏层、不同数量的神经元或两者。

9.如权利要求5所述的方法，其中迭代地训练所述神经网络系统包括利用所述行人检测算法、所述第一DNN、所述第二DNN和所述第三DNN中的每一者来评估后续图像帧。

10.如权利要求4所述的方法，其中所述行人检测算法是单发多框检测器算法。

11.如权利要求1所述的方法，其还包括：重复所述接收、监测和确定步骤；以及对于每个相应的图像帧，基于所述眼球注视数据确定所述应答数据集。

12.如权利要求1所述的方法，其还包括：使用损失函数计算差值，其中所述差值是基于所述应答数据集和所述神经网络系统的输出，其中重复迭代地训练所述神经网络系统，直到所述差值小于阈值。

13.如权利要求12所述的方法，其还包括：当所述差值不小于所述阈值时，调整与神经网络系统的神经元相关联的多个权重。

14.如权利要求12所述的方法，其中所述迭代地训练包括监督学习。

15.一种计算装置，其包括至少一个处理器和存储器，所述计算装置被编程为执行上述权利要求的任何组合。