[发明专利]一种基于神经网络模型热力图实现的人眼定位方法

说明书

本发明公开了一种基于神经网络模型热力图实现的人眼定位方法，具体过程为：先训练基于人脸的特征数据集；通过摄像头对人脸所在的区域进行图像采集；使用图像预处理；将预处理好的图片输入进神经网络中；将检测不到人脸的图片淘汰，如果检测到了人脸位置的图片留下；将人脸区域划分为九部分计算针对人眼的热力图，根据神经网络具体的感兴趣的位置进一步计算出人眼位置。本发明可以极大地提高人眼定位的稳定性，尽可能地使用了人脸的不同的特征，全方位的利用人脸的特征对人脸定位，可以应用在对人脸定位的各个产品或者技术中。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于神经网络模型热力图实现的人眼定位方法。

背景技术

人眼定位此前主要由人的几何特征来对人眼进行定位的，人眼的形状是圆形的，通过定位圆取圆心的方法来得到大概的瞳孔位置，opencv中有霍夫圆检测方法可以对图片中的圆进行定位，但是图片中的圆形特征很多，因此在很多时候霍夫圆检测方法是不适用的。在此基础上进行改进，在原有的基础上进行人眼的灰度检测，首先对霍夫圆的检测得到图像中的圆形特征，随后将图片进行二值处理，将彩色图片转化为灰度图，每个像素值的大小为0/255，在图像中的黑白比例最高的几位待选的目标人眼，这种方法具有精度高的优势，但是受光照的影响大，光照影响以及每次都要调节参数来适应不同的亮度图片。针对霍夫圆的缺陷，在此基础上进行改进——利用梯度的变化来定位人眼，根据数据统计，眼睛是人眼灰度变换的最明显的部位，灰度变换的速度恰恰可以通过梯度来表示。

发明内容

针对现有技术的不足，本发明旨在提供一种基于神经网络模型热力图实现的人眼定位方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于神经网络模型热力图实现的人眼定位方法，具体包括如下步骤：

步骤一、先训练基于人脸的特征数据集；通过摄像头对人脸所在的区域进行图像采集；

步骤二、训练基于人眼特征的人眼识别模型；

步骤三、将通过摄像头采集到的人脸图片作为输入传至人眼识别的神经网络中；

步骤四、根据神经网络的输出计算人脸区域的热力图；

步骤五、根据大数模型，得到人眼大致为热力图的正中央，得到人眼瞳孔的位置，至此得到人眼的坐标信息。

进一步地，步骤一的具体过程为：

基于神经网络，利用统计分析训练出人脸大致分布的检测模型，通过检测模型生成一个大致的人脸分布区域，然后根据检测到的区域，通过双目摄像头采集到区域范围内的图像，即人脸图像。

进一步地，步骤三的具体过程为：

S3.1、将步骤一得到的人脸区域图片作为输入输入进神经网络中，为了使人脸区域边缘平滑，需要对提取出来的人脸区域进行形态学处理，形态学处理包括膨胀和腐蚀，随后神经网络对人脸的人眼进行分类运算；

S3.2、区分出图片出是否有人眼，将判断出没有人眼的位置淘汰掉。

进一步地，步骤五中，根据神经网络运算得到的输出计算神经网络的热力图将热力图显示的最为明显的位置即为人眼的位置。

更进一步地，对已经得到的人脸区域进行如下验证：

(1)将人脸区域划分为九部分，将整个脸部区域划分为三行三列，其中中间那一列占比百分之五十，两侧的宽度相等，各占整个长度的四分之一，横向分位三部分，1、2、4、5区的分界点为左眼，2、3、5、6、区的分界点为右眼，1、2、3区和4、5、6区的横向分界线为双眼所在的直线；4、5、6区域和7、8、9区域的分界线为人的嘴巴所在的分界线；其中2、5、8所在区域占面部主要部分，根据大数据得到1、2、4、5区的相交的点为人脸左眼位置，2、3、5、6区相交的点为人脸有眼位置；