[发明专利]信息处理装置、眼睛开/合度确定方法及图像传感装置

说明书

技术领域

本发明涉及一种信息处理装置、眼睛开/合度确定方法及图像传感装置。

背景技术

从包含静态图像及动态图像的图像中检测面部的技术通常已为人们所 知(Mitarai，Y.，Mori，K.，Matsugu，M.“Robust Face Detection System Based on Convolutional Neural Networks Using Selective Activation of Modules(基于利 用模块选择性激活的卷积神经网络的稳健面部检测系统)”，FIT(Forum of Information Technology，信息技术论坛)，L1-013，2003)。另外，已提出多 种用于在被检测面部中确定眼睛开/合度的技术。

在这方面，日本专利特开平第09-044685号公报提出一种技术，其将眉 毛与瞳孔间的距离或者眉毛与瞳孔的面积比与预定的参考值进行比较，并 计算距离的改变量，从而确定出眼睛开/合度。

日本专利特开平第11-242744号公报提出一种技术，其将眼睛区域分为 白色区域和黑色(瞳孔)区域，当黑色区域改变时，便确定目标眨动。

日本专利特开第2004-192551号公报提出一种技术，其准备多个处理来 确定眼睛开/合度，以便将闭眼前瞬间的眼睛状态与诸如微笑等的表情改变 时的眼睛状态区别开来，并基于利用各个确定结果的逻辑乘的结果来确定 眼睛开/合度。

在眼睛完全睁开时的无表情状态下，眼睛尺寸(例如，上眼睑与下眼 睑间的距离或瞳孔的外观)存在个体差异。例如，在眼睛完全睁开时的无 表情状态(状态1)下，图19中所示的人A的瞳孔被全部看到。与此对比， 在眼睛完全睁开时的无表情状态(状态4)下，图19中所示的人B的瞳孔被 部分隐藏。

在这种方式下，无表情状态下的眼睛尺寸存在个体差异。如果只从一 个图像中确定眼睛开/合度，则图19中所示的人A的状态2与图19中所示的人 B的状态4被确定为具有相同的眼睛开/合度。例如，当图19中所示的人A的 状态2被确定为图像传感装置在拍摄时的拍摄失败时，图19中所示的人B的 状态4也被确定为拍摄失败。

当利用多个图像间的改变量来确定眼睛开/合度时，图19中所示的人A 从状态1到状态2的改变量，等于图19中所示的人B从状态4到状态5的改变 量。确定出人A的状态2与人B的状态5是相同的。例如，当图19中所示的人 A的状态2被确定为图像传感装置在拍摄时的拍摄成功时，图19中所示的人B 的状态5也被确定为拍摄成功。

确定由图像传感装置所拍摄的图像是失败还是成功，是依图像传感装 置的用户而变化的。有必要在不考虑眼睛尺寸的个体差异的情况下，以高 精度检测眼睛开/合度。例如，在日本专利特开第2004-192551号公报中所公 开的上述技术通过利用眼睛开/合度确定结果的组合，来确定眼睛开/合度。 然而，各个眼睛开/合度确定结果是表示眼睛睁开或闭合的二进制输出。由 于这一原因，即使是这种技术也无法在不考虑眼睛尺寸的个体差异的情况 下，以高精度检测眼睛开/合度。

后面将考查通过利用一个图像的方法来确定眼睛开/合度的情况，以及 通过利用多个图像间的改变量的方法来确定眼睛开/合度的情况。以下将举 例说明在眼睛开/合度从图20中所示的状态1改变到状态2时确定眼睛开/合 度的情况，以及在眼睛开/合度从图20中所示的状态4改变到状态5时确定眼 睛开/合度的情况。

当眼睛从图20中所示的状态1(黑色眼睛面积10)改变到状态2(黑色 眼睛面积5)时，黑色眼睛面积的改变量是5，并且在状态2中黑色眼睛面积 的绝对量是5。当将用于确定眼睛闭合的绝对量阈值设置为6(当绝对量小 于6时确定眼睛是闭合的)并将用于确定眼睛闭合的改变量阈值设置为4(当 改变量大于4时确定眼睛是闭合的)时，基于绝对量的确定结果和基于改变 量的确定结果都表示眼睛是闭合的。当眼睛从图20中所示的状态4(黑色眼 睛面积5)改变到状态5(黑色眼睛面积0)并进行与以上所述相同的确定时， 获得相同的结果，并且基于绝对量的确定结果和基于改变量的确定结果都 表示眼睛是闭合的。以这种方式，根据通常提出的眼睛开/合度确定方法， 图20中所示的状态2与状态5被确定为具有相同的眼睛开/合度。

发明内容