[发明专利]利用时间递归网络进行在线动作检测的系统和方法

说明书

本发明题为“利用时间递归网络进行在线动作检测的系统和方法”。本发明公开了一种利用时间递归网络进行在线动作检测的系统和方法，该系统和方法包括接收基于车辆摄像系统所捕获的至少一个图像的图像数据。该系统和方法还包括：分析图像数据以确定多个图像帧，以及输出如在当前图像帧期间确定的至少一个目标导向型动作。该系统和方法还包括基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。

背景技术

大多数自主驾驶系统在提供自主驾驶功能时都会考虑传感器数据。传感器数据考虑实时车辆操作期间车辆可能面临的对象、路面和障碍物。然而，这些系统不提供在提供自主驾驶功能时考虑驾驶员的逻辑、专注行为和因果反应的车辆操作。在许多情况下，独立标注者必须评估从延长时间段收集的传感器数据以采集信息来确定车辆的高级别态势理解和车辆的周围环境。因此，此类系统不能有效地解决与较高级别态势理解相关联的许多挑战，该较高级别态势理解可能是提供在时间敏感交通情景中驾驶车辆时有效地适应动态驾驶环境内的各种情景的智能自动驾驶系统所必需的。

发明内容

根据一个方面，一种利用时间递归网络进行在线动作检测的计算机实现的方法，该计算机实现的方法包括接收基于车辆摄像系统所捕获的至少一个图像的图像数据。该计算机实现的方法还包括分析图像数据以确定多个图像帧。多个图像帧包括当前图像帧和至少一个过去图像帧。该计算机实现的方法另外包括输出如在当前图像帧期间确定的至少一个目标导向型动作。至少一个目标导向型动作基于当前图像帧、至少一个过去图像帧和至少一个预测动作。该计算机实现的方法还包括基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。

根据另一个方面，一种利用时间递归网络进行在线动作检测的系统，该系统包括存储指令的存储器，该指令在由处理器执行时引起处理器接收基于车辆摄像系统所捕获的至少一个图像的图像数据。指令还引起处理器分析图像数据以确定多个图像帧。多个图像帧包括当前图像帧和至少一个过去图像帧。指令另外引起处理器输出如在当前图像帧期间确定的至少一个目标导向型动作。至少一个目标导向型动作基于当前图像帧、至少一个过去图像帧和至少一个预测动作。指令还引起处理器基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。

根据再一个方面，一种存储由计算机执行时的指令的非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括处理器执行方法，该方法包括接收基于车辆摄像系统所捕获的至少一个图像的图像数据。该方法还包括分析图像数据以确定多个图像帧。多个图像帧包括当前图像帧和至少一个过去图像帧。该方法另外包括输出如在当前图像帧期间确定的至少一个目标导向型动作。至少一个目标导向型动作基于当前图像帧、至少一个过去图像帧和至少一个预测动作。该方法还包括基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。

附图说明

图1是根据本公开的一个示例性实施方案的用于实现利用时间递归网络进行在线动作检测的系统和方法的示例性操作环境的示意图；

图2是根据本公开的一个示例性实施方案的场景的说明性示例，该场景包括在车辆即将在交通路口右转以及在交通路口停止时可发生的多个示例性行为事件；

图3是根据本公开的一个示例性实施方案的时间递归网络对一个或多个目标导向型动作的识别的说明性示例；

图4是根据本公开的一个示例性实施方案的自然驾驶行为数据集的所示示例；

图5是根据本公开的一个示例性实施方案的使用时间递归网络进行在线动作检测以确定一个或多个目标导向型动作并对其进行分类的方法的过程流程图；

图6是根据本公开的一个示例性实施方案的用于确定刺激驱动型动作、原因和吸引注意力的交通对象的方法的过程流程图；

图7是根据本公开的一个示例性实施方案的用于基于自然驾驶行为数据集来控制车辆使之自主地驾驶的方法的过程流程图；并且