[发明专利]使用三维眼睛注视矢量的车辆乘员参与

说明书

根据本公开的技术，一种方法包括：使用车辆的相机系统捕获车辆的乘员的至少一个图像；基于乘员的至少一个图像来确定车辆中乘员的一个或多个眼睛的位置；以及基于乘员的至少一个图像来确定眼睛注视矢量。该方法还可以包括：基于眼睛注视矢量，乘员的一个或多个眼睛的位置以及车辆的车辆数据文件，从乘员正在看的车辆的多个感兴趣区域中来确定感兴趣区域，其中，车辆数据文件指定多个感兴趣区域中的每个感兴趣区域的相应位置，并基于感兴趣区域选择性地执行动作。

背景技术

具有半自动驾驶特征的车辆变得越来越普遍。车辆可包括有助于将车辆保持在车道边界内，引导车辆转弯或基于其他车辆的存在而自动加速和制动的特征。这些驾驶辅助特征在正确使用时会有所帮助，但一些驾驶员仍依赖这些特征以在各种时间段内完全控制车辆。驾驶员可能正在与车辆的头部单元交互，正在看着窗外的风景，正在看着移动电话，吃饭或执行其他任务，而不是主动驾驶车辆。不幸的是，由于这些驾驶辅助系统被设计为需要用户交互，因此疏忽的驾驶员可能会导致事故。

发明内容

总体上，本公开涉及用于使计算系统能够确定用户是使用三维车辆车厢空间内的三维眼睛注视矢量来参与驾驶车辆还是正在关注其他事物的技术。不要求用户触摸方向盘，而是确定驾驶员的眼睛睁开，分析面部表情或眨眼速度，本公开的技术可以使计算系统能够更精确地确定用户正在看的车辆内的位置，并确定什么东西实际位于车辆内的位置。例如，计算系统可以确定乘员的头部和/或眼睛在三维车辆车厢内的位置，并且至少部分地基于乘员的面部平面来确定三维眼睛注视矢量。使用乘员的头部/眼睛在车厢空间内的三维放置和三维眼睛注视矢量，计算系统可以更精确地确定用户正在看的三维车厢空间内的位置，诸如后视镜，车辆的头部单元，车辆的仪表显示器，车辆的前挡风玻璃等。在一些情况下，计算系统可以确定乘员正在看车辆外部的物体(例如，因为乘员正在看的位置与窗户相关联)。在这样的情况下，计算系统可以确定是否乘员正在看向侧窗外并且因此可能没有充分注意驾驶车辆。使用用户看着的位置，计算系统可以采取各种与安全有关的动作或其他动作(例如，拍摄用户正在看向窗外的东西的图片，限制驾驶员与头部单元的互动的能力而不会限制乘客与头部单元互动的能力，评估驾驶员遵守道路规则的程度等)。

以这种方式，本公开的技术可以使计算系统能够更精确地确定车辆的乘员在看哪里，以便更好地确定乘员与车辆的参与程度。通过更精确地确定乘员在看哪里，计算系统不仅可以确定乘员是否在注意道路，而且计算系统还可以执行与乘员正在看的物体有关的各种其他动作。因此，与一般的驾驶员注意系统相比，本文所述的眼睛注视检测系统可以使计算系统能够提供附加的功能。

在附图和以下描述中阐述了一个或多个示例的细节。根据说明书和附图以及根据权利要求书，本公开的其他特征、目的和优点将是显而易见的。

附图说明

图1是示出了根据本公开的一个或多个方面的包括示例性车辆计算系统的车辆内部的概念图，该示例性车辆计算系统被配置为使用三维眼睛注视矢量来确定驾驶员参与。

图2是示出根据本公开的一个或多个方面的具有内部相机系统的示例性车辆的概念图。

图3是示出根据本公开的一个或多个方面的驾驶员的示例性面部平面的概念图。

图4是示出根据本公开的一个或多个方面的具有感兴趣区域的车辆的示例内部的概念图。

图5是示出根据本公开的一个或多个方面的示例计算设备的框图，该示例计算设备被配置为使用三维眼睛注视矢量来确定驾驶员参与。

图6A至图6E是示出根据本公开的一个或多个方面的示例机器学习模型的方面的概念图。

图7是示出根据本公开的一个或多个方面的计算系统的示例操作的流程图，该计算系统被配置为使用三维眼睛注视矢量来确定驾驶员参与。

具体实施方式