[发明专利]使用三维眼睛注视矢量的车辆乘员参与

权利要求书

1.一种方法，包括：

经由车辆的相机系统，获得所述车辆的乘员的至少一个图像；

基于所述乘员的所述至少一个图像，确定在所述车辆内的所述乘员的一个或多个眼睛的位置；

基于所述乘员的所述至少一个图像，确定眼睛注视矢量；

基于所述眼睛注视矢量，所述乘员的所述一个或多个眼睛的所述位置、以及所述车辆的车辆数据文件，从所述乘员正在看的所述车辆的多个感兴趣区域中确定感兴趣区域，其中，所述车辆数据文件指定所述多个感兴趣区域中的每个感兴趣区域的相应位置；以及

基于所述感兴趣区域来选择性地执行动作。

2.根据权利要求1所述的方法，其中，确定所述眼睛注视矢量包括：

在所述至少一个图像中识别一个或多个面部界标；

基于所述一个或多个面部界标，确定所述乘员的面部平面的俯仰角、翻滚角和偏航角；

基于所述俯仰角、所述翻滚角和所述偏航角来确定所述眼睛注视矢量。

3.根据权利要求1所述的方法，其中，确定所述眼睛注视矢量包括：

基于所述至少一个图像，确定所述乘员的至少一个瞳孔的角度；以及

基于所述至少一个瞳孔的所述角度，确定所述眼睛注视矢量。

4.根据权利要求1至3中的任一项所述的方法，其中，确定所述眼睛注视矢量包括：

基于所述至少一个图像，确定所述乘员的面部平面；

基于所述面部平面，确定第一初始眼睛注视矢量；

基于所述图像并使用眼睛跟踪来确定第二初始眼睛注视矢量；以及

通过至少组合所述第一初始眼睛注视矢量和第二初始眼睛注视矢量来确定所述眼睛注视矢量。

5.根据权利要求1至3中的任一项所述的方法，其中，确定所述眼睛注视矢量包括：

将至少一个机器学习模型应用于所述至少一个图像，其中，所述机器学习模型输出所述眼睛注视矢量。

6.根据权利要求1至5中的任一项所述的方法，其中，所述至少一个图像包括由所述相机系统的两个或更多个不同相机中的每个相机捕获的至少一个相应图像，并且其中，确定在所述车辆内的所述乘员的所述一个或多个眼睛的所述位置包括：

基于所述两个或更多个不同相机中的每个相机捕获的所述至少一个相应图像，确定视差角；

基于所述两个或更多个不同相机中的每个相机的相应位置和所述视差角，确定从所述两个或更多个不同相机中的至少一个到所述乘员的所述一个或多个眼睛的距离；以及

基于所述距离和所述两个或更多个不同相机中的每个相机的所述相应位置，确定所述乘员的所述一个或多个眼睛的所述位置。

7.根据权利要求1至5中的任一项所述的方法，其中，所述至少一个图像包括使用所述相机系统的红外相机捕获的图像，并且其中，确定在所述车辆内的所述乘员的所述一个或多个眼睛的所述位置包括：

基于所述图像的失真，确定从所述红外相机到所述乘员的所述一个或多个眼睛的距离；以及

基于所述红外相机的所述位置和所述距离，确定所述乘员的所述一个或多个眼睛的所述位置。

8.根据权利要求1至7中的任一项所述的方法，

其中，在所述车辆内的所述乘员的所述一个或多个眼睛的所述位置是使用基于相机的坐标系来指定的，所述基于相机的坐标系将所述相机系统中的一个相机作为质心，

其中，所述多个感兴趣区域中的每一个感兴趣区域的所述相应位置是使用基于车辆的坐标系来指定的，所述基于车辆的坐标系具有位于所述车辆的内部的质心，并且不同于所述一个相机的所述位置，以及

其中，确定所述乘员正在看的所述感兴趣区域包括：

将所述一个或多个眼睛的所述位置从所述基于相机的坐标系转换为所述基于车辆的坐标系；

确定从使用所述基于车辆的坐标系指定的所述一个或多个眼睛的所述位置的所述眼睛注视矢量的投射是否与所述多个感兴趣区域中的任何一个相交；以及

响应于确定所述眼睛注视矢量与所述多个感兴趣区域中的特定感兴趣区域相交，确定所述特定感兴趣区域是所述乘员正在看的所述感兴趣区域。