[发明专利]使用完全卷积架构的驾驶员视觉注意的计算框架的系统和方法

说明书

本发明提供了用于估计驾驶场景的一个或多个目标的显著特点的系统和方法。在一些方面，系统包括存储器，该存储器存储用于执行用于估计驾驶场景的一个或多个目标的显著特点的过程的指令。该系统还包括处理器，该处理器被配置为执行指令。在各个方面，过程包括生成贝叶斯框架以对驾驶员的视觉注意进行建模，贝叶斯框架包括自底向上显著特点元素和自顶向下显著特点元素。在各个方面，该过程还包括基于贝叶斯框架生成完全卷积神经网络以生成驾驶场景中的一个或多个目标的视觉显著特点模型。在另外的方面，该过程包括输出视觉显著特点模型以指示吸引驾驶员的注意的特征。

相关申请的交叉引用

本公开要求2017年5月30日提交的美国专利申请号15/608,523的优先权，该专利申请要求2017年2月6日提交的临时申请号62/455,328的优先权，每个申请的内容据此全文并入。

技术领域

本文的主题涉及用于估计驾驶场景中的显著特点的方法和系统。

背景技术

在复杂的驾驶环境中与交通参与者交互是具有挑战性且重要的任务。人类视觉系统可以发挥作用来完成该任务。具体地讲，视觉注意机制可允许人类驾驶员关注场景的显著和相关区域以做出驾驶决定。探究性人类视觉系统可改进辅助和自动车辆技术。

在人类驾驶员最复杂的能力中的可以是驾驶员在复杂的驾驶环境中不间断地感知交通参与者并与之交互的能力。人类视觉可能在感知环境方面发挥作用，然后导致对场景的理解并最终导致适当的车辆控制行为。驾驶员可以将注意力分配给最重要且显著的区域或物体。然而，到目前为止，还没有计算框架可以准确地模仿驾驶员的凝视行为并估计复杂交通驾驶环境中的显著特点。然而，计算特定驾驶环境中的显著和相关区域或目标的交通显著特点检测可以是智能车辆系统的重要组成部分，并且可用于支持自动驾驶、交通标志检测、驾驶训练、碰撞警告和其他任务。

一般来讲，视觉注意是指选择视野的重要和相关区域以允许实时进行后续复杂处理(例如，物体识别)的机制。尽管已经研究了建模视觉注意，现有的理论和计算模型试图解释眼睛运动(例如，注视/扫视)，但是它们可能还不能可靠地模仿通常由自底向上和自顶向下机制的一些组合引导的复杂的人类凝视行为。自底向上的线索可能受到外部刺激的影响，并且主要基于视觉场景的特性，诸如基于图像的显著性，而自顶向下的线索是目标取向的，其中除了其他因素之外，任务、知识、记忆和期望引导凝视朝向相关/信息丰富的场景区域。

自底向上方法可直观地表征视野中从其相邻背景中突出的一些部分或事件。例如，在驾驶情境中，由于高相对对比度而抵靠背景弹出的物体(诸如逆向反射交通标志)或诸如汽车的闪光指示器、尾刹车灯的开启等的事件可能是显著的。另一方面，自顶向下方法是任务驱动的或目标取向的。例如，可以要求受试者在不同任务下观看相同的场景(例如，分析相同场景的不同方面)，并且可以基于正在执行的特定任务找到眼睛运动和注视的显著差异。这使得自顶向下注意的建模在概念上具有挑战性，因为不同的任务可能需要不同的算法。

驾驶通常发生在复杂的动态环境中，其中不同的自顶向下因素随着时间的推移在控制凝视行为中起到非常积极的作用。诸如计划机动(例如，左转/右转，通往下一个出口等)、交通法规的知识、在给定位置找到其他道路参与者的期望等的因素可能与自底向上事件竞争，并且可能极大地影响凝视行为。

发明内容

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用于帮助确定所要求保护的主题的范围。