[发明专利]眼睛图像处理设备和方法

说明书

提供了一种眼睛图像处理设备和方法，所述设备包括：提取单元，用于从拍摄的图像提取不同视线状态下的眼睛图像；基准线确定单元，用于确定眼睛图像的垂直基准线和水平基准线；对齐单元，用于使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

技术领域

本申请涉及一种眼睛图像处理设备和方法，更具体地讲，涉及一种通过对齐不同视线状态下的眼睛图像来分析眼睛运动信息的眼睛图像处理设备和方法。

背景技术

如何对视线方向变化造成的眼睛运动信息进行描述是视线位置估计系统中的需要解决的一个重要问题。合理有效地对眼睛运动信息进行分析描述，可以去除眼睛图像中的无效信息，提高图像对齐以及基于图像信息的视线应用的精度和效率。尽管已经有一些相关研究工作，但是基于图像信息来利用计算机视觉方法对眼睛视线估计依然面临着许多难题，最重要的问题就是如何进行眼睛图像对齐和如何对眼睛运动信息进行描述。

目前已有的视线估计算法中采用的眼睛对齐算法主要是基于内外眼角点作为基准的方法，但是这种方法严重依赖于眼角点的提取精度。首先，相比于内眼角点，外眼角点并不容易精确提取。其次，当眼球和眼皮运动时，眼角的形状会发生剧烈的改变，因此眼角点的提取需要事先储存大量的样本以满足这种外观形状的变化。

此外，目前的视线估计算法中也并没有特定地对眼睛运动信息进行分析和特征提取。通常采用的方法是直接对眼睛图像进行平均分块，计算每一子块图像的灰度均值或其他图像特征来对眼睛图像进行描述。然而，该类方法没有将视线水平和垂直运动造成眼睛图像变化的影响分开，使得图像特征信息变化不能有效地描述这两种运动模式。

发明内容

根据本发明的一方面，提供了一种眼睛图像处理设备，所述设备包括：提取单元，用于从拍摄的图像提取不同视线状态下的眼睛图像；基准线确定单元，用于确定眼睛图像的垂直基准线和水平基准线；对齐单元，用于使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

所述基准线确定单元可包括：垂直基准线确定单元，用于对提取单元提取的眼睛图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；水平基准线确定单元，用于从提取单元提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。

所述垂直基准线确定单元可对提取单元提取的眼睛图像的灰度图像进行水平方向的投影和垂直方向的投影，对水平方向的投影结果进行归一化，将水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化，从所述垂直方向的归一化投影结果确定垂直基准线。

所述水平基准线确定单元可从眼睛图像确定内眼角区域，使用内眼角区域附近的皮肤像素建立皮肤模型，基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域，并将眼睛区域中靠近眉心的位置确定为内眼角点的位置。

所述眼睛图像处理设备还可包括：响应区域产生单元，用于使用对齐的眼睛图像产生眼睛的水平运动响应图或眼睛的垂直运动响应图；运动特征分析单元，用于从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征。

所述响应区域产生单元可基于均值差分法或主成分分析法，使用对齐的眼睛图像产生眼睛的水平运动响应图或垂直运动响应图。

根据本发明的另一方面，提供了一种眼睛图像处理方法，所述方法包括：从拍摄的图像提取不同视线状态下的眼睛图像；确定眼睛图像的垂直基准线和水平基准线；使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

确定眼睛图像的垂直基准线和水平基准线的步骤可包括：对提取的眼睛图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；从提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。