[发明专利]基于单目摄像机的视线检测的方法和装置

权利要求书

1.一种基于单目摄像机的视线检测的方法，其特征在于，所述方法包括：

基于单目摄像机获取的图像提取面部区域的面部特征和包括在所述面部区域中的眼部区域，其中，所述眼部区域包括眼眶区域和虹膜区域；

基于所述眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；

基于所述左眼视线方向、所述右眼视线方向和所述面部特征推测三维视线信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述左眼视线方向、所述右眼视线方向和所述面部特征推测三维视线信息的步骤包括：基于所述左眼视线方向、所述右眼视线方向和所述面部特征使用预先训练的多层感知机网络来推测所述三维视线信息，

其中，所述预先训练的多层感知机网络包括：

输入层，被配置为将所述左眼视线方向、所述右眼视线方向和所述面部特征用作输入；

第一隐含层，被配置为包括第一子层和第二子层，其中，所述输入层中的所述左眼视线方向和所述面部特征与所述第一子层形成全连接，所述输入层中的所述右眼视线方向和所述面部特征与所述第二子层形成全连接；

第二隐含层，被配置为与所述第一隐含层形成全连接；以及

输出层，被配置为与所述第二隐含层形成全连接。

3.根据权利要求1所述的方法，其特征在于，所述基于所述左眼视线方向、所述右眼视线方向和所述面部特征推测三维视线信息的步骤包括：通过单目视线滤波器对视线方向进行滤波处理，并且基于经滤波处理的视线方向和所述面部特征推测所述三维视线信息，

其中，所述视线方向包括所述左眼视线方向和所述右眼视线方向，

其中，所述单目视线滤波器包括：

自回归积分滑动平均模型，将当前帧的视线方向作为输入基于模型参数输出所述当前帧的经滤波处理的视线方向；

多层感知机，将所述当前帧的视线方向和所述当前帧的经滤波处理的视线方向作为输入，并向所述自回归积分滑动平均模型输出经优化的所述模型参数，

其中，所述自回归积分滑动平均模型基于经优化的所述模型参数对下一帧的视线方向进行滤波处理。

4.根据权利要求1所述的方法，其特征在于，所述基于所述眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向的步骤包括：

将所述眼眶区域中的每个眼眶区域划分为彼此相等的四个象限；

计算对应的虹膜区域落在所述四个象限中的每个象限中的积分值；以及

基于所述积分值分别推测左眼视线方向和右眼视线方向。

5.一种基于单目摄像机的视线检测的装置，其特征在于，所述装置包括：

特征提取单元，被配置为基于单目摄像机获取的图像提取面部区域的面部特征和包括在所述面部区域中的眼部区域，其中，所述眼部区域包括眼眶区域和虹膜区域；

单眼视线推测单元，被配置为基于所述眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；

三维视线推测单元，被配置为基于所述左眼视线方向、所述右眼视线方向和所述面部特征推测三维视线信息。

6.根据权利要求5所述的装置，其特征在于，所述三维视线推测单元被配置为：基于所述左眼视线方向、所述右眼视线方向和所述面部特征使用预先训练的多层感知机网络来推测所述三维视线信息，

其中，所述预先训练的多层感知机网络包括：

输入层，被配置为将所述左眼视线方向、所述右眼视线方向和所述面部特征用作输入；

第一隐含层，被配置为包括第一子层和第二子层，其中，所述输入层中的所述左眼视线方向和所述面部特征与所述第一子层形成全连接，所述输入层中的所述右眼视线方向和所述面部特征与所述第二子层形成全连接；

第二隐含层，被配置为与所述第一隐含层形成全连接；以及

输出层，被配置为与所述第二隐含层形成全连接。