[发明专利]基于单目摄像机的视线检测的方法和装置

说明书

本公开提供了一种基于单目摄像机的视线检测的方法和装置。所述方法包括：基于单目摄像机获取的图像提取面部区域的面部特征和包括在面部区域中的眼部区域，其中，眼部区域包括眼眶区域和虹膜区域；基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息。

技术领域

本公开涉及眼动跟踪领域，具体地，本公开提供了一种基于单目摄像机实现的视线检测的方法和使用该方法的装置。

背景技术

视线方向检测在几十年来都是比较活跃的研究方向。视线检测在心理学有着重要的作用，例如能够以视线检测为基础，统计出眼跳、注视、扫视等一些能够反应心理活动的状态。视线检测在人机交互领域中也能够拥有很广泛的应用，可以作为一种新式的人机交互手段。

现有技术中的视线检测方式主要分为穿戴式设备和中远距离多摄像头检测方式。设备复杂、成本昂贵，因此限制了实际应用场景下广泛应用的可能。

发明内容

本公开提供了一种基于单目摄像机实现的视线检测的方法和使用该方法的装置。本公开提供的实施例能够基于单目摄像机(例如，普通的RGB摄像机)推测出视线方向，而无需特殊设备或特殊摄像头。从而在设备上降低了成本与设备的获取难度。

本公开的一方面提供了一种基于单目摄像机的视线检测的方法，所述方法包括：基于单目摄像机获取的图像提取面部区域的面部特征和包括在面部区域中的眼部区域，其中，眼部区域包括眼眶区域和虹膜区域；基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息。

可选地，基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息的步骤可以包括：基于左眼视线方向、右眼视线方向和面部特征使用预先训练的多层感知机网络来推测三维视线信息，其中，预先训练的多层感知机网络包括：输入层，被配置为将左眼视线方向、右眼视线方向和面部特征用作输入；第一隐含层，被配置为包括第一子层和第二子层，其中，输入层中的左眼视线方向和面部特征与第一子层形成全连接，输入层中的右眼视线方向和面部特征与第二子层形成全连接；第二隐含层，被配置为与第一隐含层形成全连接；以及输出层，被配置为与第二隐含层形成全连接。

可选地，基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息的步骤可以包括：通过单目视线滤波器对视线方向进行滤波处理，并且基于经滤波处理的视线方向和面部特征推测所述三维视线信息，其中，视线方向包括左眼视线方向和右眼视线方向，其中，单目视线滤波器可以包括：自回归积分滑动平均模型，将当前帧的视线方向作为输入基于模型参数输出当前帧的经滤波处理的视线方向；多层感知机，将当前帧的视线方向和当前帧的经滤波处理的视线方向作为输入，并向自回归积分滑动平均模型输出经优化的所述模型参数，其中，自回归积分滑动平均模型基于经优化的模型参数对下一帧的视线方向进行滤波处理。

可选地，基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向的步骤可以包括：将眼眶区域中的每个眼眶区域划分为彼此相等的四个象限；计算对应的虹膜区域落在四个象限中的每个象限中的积分值；以及基于积分值分别推测左眼视线方向和右眼视线方向。

本公开的另一方面公开了一种基于单目摄像机的视线检测的装置，所述装置包括：特征提取单元，被配置为基于单目摄像机获取的图像提取面部区域的面部特征和包括在面部区域中的眼部区域，其中，眼部区域包括眼眶区域和虹膜区域；单眼视线推测单元，被配置为基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；三维视线推测单元，被配置为基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息。