[发明专利]一种人眼视线与前景图像叠加的方法及系统

说明书

一种用于辅助驾驶领域的人眼视线与前景图像叠加的方法及装置，该方法包括有以下步骤：S1：寻找驾驶员的视线位置，得到人眼位置在相机坐标系的三维坐标；S2：利用前景相机拍摄驾驶员的前视野图像；S3：将所述步骤S1的所述相机坐标系的三维坐标与驾驶员前视野图像叠加形成叠加图像，所述叠加图像的第一层显示实时的驾驶员视线位置；所述叠加图像的第二层显示实时所述前景相机拍摄的前视野图像。还包括一采集装置，其可以采集高质量的用于神经网络训练用图像数据，为视线的捕捉提供数据支持。本发明通过该图像的叠加可以为计算机处理视线位置的检测提供多种应用。另外由于采用的高质量的神经网络训练用数据以及与其配套的神经网络，保证了视线检测的精度。

技术领域

本申请涉及人工智能的图像数据处理领域。具体地说，涉及的是计算机处理人脸图像数据与实时前景图像的融合。

背景技术

对人眼视线方向的确定包括对人眼位置的确定，人眼注视点位置的确定，当在真实三维空间中将上述两点位置确定后，两者位置的连线即为人眼视线的方向。然而在辅助驾驶领域或者是自动驾驶领域，对于人眼视线并没有完全利用。

例如CN106886759A，该现有技术中仅是关注到有于头部是否有偏转，当发现头部有偏转，人眼朝向后视镜观看时，说明司机想看到正常驾驶位置上难以看到的盲区，此时会将盲区的图像显示出来。该检测人眼的视线变化不够精细，当头部没有偏转时，系统无法查觉出此时驾驶员的意图。

例如CN104619558A，该现有技术中公开的检测系统也可以检测人眼视线方向的变化，检查驾驶中视线方向是否对准镜子，当检测到该视线对准镜子，则系统默认此时的驾驶员需要观察后视镜，此时会分别根据驾驶员观察的是左后视镜还是右后视镜去分别调整该后视镜的角度，以方便驾驶员能够通过后视镜看到更多的视野。该现有技术存在的缺点在于：必须在人眼大范围的视线角度变换的情况下才能得到该视线方向变化的信息，即仍然存在检测视线变化不够精细的问题。

例如CN107054225A，该现有技术中公开的检测系统用于检测驾驶员的人眼视线方向，当发现驾驶中凝视车辆控制面板上的显示屏和/或控制键时，说明此时驾驶员的视线方向不在驾驶室前方，此时将前方视野图像投影到该显示屏上，以方便驾驶员虽然没有注视前方，但仍然能够看到前方物体。该检测装置实际检测的是头部的偏移，仍然转动角度较大，无法做到对人眼视线方向的精确捕捉。

技术方案

为解决上述问题，并且为了将精确得到人眼视线方向与驾驶情景有效的结合，本发明提供了一种视线叠加装置及方法，以解决现有技术中无法得到人眼视线方向精确方向，从而无法与驾驶情景有效结合的技术问题。

本发明的目的是提供一种建立在高精度人眼视线定位基础上的，与前方视线图像形成叠加的方法，以及执行该方法的装置。通过该方法，计算机或者驾驶员能够实时得到此时视线在前方视野中的位置，为后继精确的人机交互以及视线追踪应用提供可能。

本发明的一个方面包括如下技术方案：

一种人眼视线位置与前景图像叠加的方法，该方法包括有以下步骤：

S1：寻找驾驶员的视线位置，得到人眼位置在内景相机(DMS相机)坐标系的三维坐标及视线方向矢量；

S2：利用前景相机拍摄驾驶员的前视野图像作为前景图像；

S3：将所述步骤S1的所述内景相机坐标系的三维坐标与所述步骤S2中的所述前景图像叠加形成叠加图像，所述叠加图像包括两层；其中第一层显示实时的驾驶员视线位置；第二层实时显示所述前景相机拍摄的前景图像；

其中所述步骤S3中，通过标定数据，将所述步骤S1中的内景相机(DMS相机)坐标系下人眼位置和所述视线方向矢量转换到前景相机坐标系下的人眼位置和/或视线方向矢量；

其中所述步骤S1中采用神经网络计算所述视线方向矢量。