[发明专利]眼球动作捕捉方法、装置及存储介质

说明书

本发明公开了一种眼球动作捕捉方法、装置及存储介质，该方法包括：获取摄像装置拍摄的实时图像，提取一张实时脸部图像；将该实时脸部图像输入预先训练好的眼部平均模型，识别出n₁个眼眶特征点、n₂个眼球特征点；根据该实时脸部图像中(n₁+n₂)个眼球特征点的x、y坐标，计算得到该实时脸部图像中眼球的运动方向及运动距离。本发明根据眼部特征点的坐标计算实时脸部图像中眼球的运动信息，实现对眼球动作的实时捕捉。

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种眼球动作捕捉方法、装置及计算机可读存储介质。

背景技术

眼球动作捕捉是基于人的脸部特征信息进行用户眼部动作识别的一种生物识别技术。目前，眼球动作捕捉的应用领域很广泛，在金融支付、门禁考勤、身份识别等众多领域起到非常重要的作用，给人们的生活带来很大便利。一般产品的做法是使用专业设备检测眼球周围的电场变化，从而实现眼球的捕捉；或者使用摄像机设备，识别虹膜角度的变化，来实现对眼球的跟踪。

然而，以上两种做法均存在不足，第一种，需要佩戴专业设备，对环境要求十分苛刻。第二种，虹膜检测时，要求人眼与摄像机的距离较近，并且虹膜检测速度慢，不适合用在实时情况下。

发明内容

本发明提供一种眼球动作捕捉方法、装置及计算机可读存储介质，其主要目的在于根据眼部特征点的坐标计算实时脸部图像中眼球的运动信息，实现对眼球动作的实时捕捉。

为实现上述目的，本发明提供一种电子装置，该装置包括：存储器、处理器及摄像装置，所述存储器中包括眼球动作捕捉程序，所述眼球动作捕捉程序被所述处理器执行时实现如下步骤：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

特征点识别步骤：将所述实时脸部图像输入预先训练好的眼部平均模型，利用该眼部平均模型识别出该实时脸部图像中代表眼部位置的n₁个眼眶特征点、n₂个眼球特征点；及

眼球位置计算步骤：根据该实时脸部图像中n₁个眼眶特征点、n₂个眼球特征点的x、y坐标，计算得到该实时脸部图像中眼球的运动方向及运动距离。

可选地，所述眼部平均模型的训练步骤包括：

特征向量样本提取步骤：建立一个有n张人脸图像的样本库，在样本库中的每张人脸图像中标记n₁个眼眶特征点、n₂个眼球特征点，每张人脸图像中的该n₁+n₂个特征点组成一个形状特征向量S，得到眼部的n个形状特征向量S；及

模型训练步骤：利用所述n个形状特征向量S对人脸特征识别模型进行训练得到关于人脸的眼部平均模型。

可选地，所述特征点识别步骤还包括：

将实时脸部图像与眼部平均模型进行对齐，利用特征提取算法在所述实时脸部图像中搜索与所述眼部平均模型的n₁个眼眶特征点、n₂个眼球特征点匹配的n₁个眼眶特征点、n₂个眼球特征点。

可选地，所述眼球位置计算步骤包括：

根据所述n₁个眼眶特征点的x、y坐标，计算所述实时脸部图像中眼眶的中心点坐标；及

通过计算眼眶中心点与眼球特征点的位置关系判断眼球的运动方向及运动距离。

此外，为实现上述目的，本发明还提供一种眼球动作捕捉方法，该方法包括：