[发明专利]一种基于视线估计的注意力智能监督方法

说明书

本发明针对现有技术存在的问题，提出了一种基于视线估计的注意力智能监督方法，采用注视区域概念，并将注视区域划分为9个，通过采集不同采集对象对9个区域的注视图像的面部图片，并将眼部手动框选出来，同时标记注视区域，然后作为训练数据对设置的Yolo网络进行训练，得到一个基于Yolo网络的注视区域估计模型。最后，在使用中，实时采集用户面部图像送入训练好的基于Yolo网络的注视区域估计模型中，得到用户是否注视区域五的结果，并进一步判断是否注意力集中。本发明通过注视区域划分、通过眼部的虹膜、瞳孔位置来判断，这样对于设备的要求大大降低，降低了实现的成本，同时对使用者的使用位置没有要求，扩大了应用范围，方便推广使用。

技术领域

本发明属于计算机视觉和人机交互技术领域，更为具体地讲，涉及一种基于视线估计的注意力智能监督方法。

背景技术

眼睛在人类面部器官中占据着重要的地位，这是因为人类从周围环境中获取的信息的80％都是通过眼睛获得的。眼睛不仅可以帮助人们观察外部世界、认知外部世界，它还可以反映人们的心理活动；眼睛可以表达一个人的欲望、需求、感情和认知过程，它可以作为人们之间一种无声的交流。

视线估计技术就是一种将人的眼睛的图片作为输入媒介，通过获取眼睛的注视信息来反映用户对外部设备的感应、关注和兴趣区域分布的技术。

视线估计按照采集数据的摄像头的个数可分为单摄像头的视线估计和多摄像头的视线估计。单摄像头的视线估计较多摄像头的视线估计，精度要低一些，视线估计时头部的可动范围也小一些，但是其应用范围是最广的，现在人们生活中的很多移动设备都是单摄像头，如手机和个人笔记本电脑，同时单目摄像头的视线估计成本也低一些。

高精度单摄像头视线估计技术目前已经非常成熟了，目前通过外部光源检测眼部光斑的视线估计已经能把误差控制在1°以下了，但是其昂贵的价格限制了其在商业上的应用范围。并且目前大多数在使用前需要标定眼睛的信息，当实验者变换时使用较不方便，且因为需要眼球的精确信息，所以对采集到的图片要求较高，部分还需外部光源的辅助，应用场景也受限。

随着社会的进步，人们对教育的重视程度也越来越高，各种具有智能学习功能的教育设备和教育机器人大量推出。但是，儿童使用教育设备学习往往缺乏监督，往往出现注意力不集中的情况，需要在使用者使用学习交互机器人时能及时对使用者的学习状态进行实时的监督。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于视线估计的注意力智能监督方法，以方便使用，降低对设备要求，降低实现的成本，并扩大应用范围。

为实现上述发明目的，本发明基于视线估计的注意力智能监督方法，其特征在于，包括以下步骤：

(1)、注视区域的划分

将用户(使用者)前方的整个注视区域划分为了9块，学习交互机器人屏幕所在区域为区域五，把区域五设定为用户使用学习交互机器人进行学习的注意力集中区域；区域五的左上方为区域一、上方为区域二、右上方为区域三、左方为区域四、右方为区域六、左下方为区域七、下方为区域八、右下方为区域九；

(2)、训练数据的采集

2.1)、使用彩色摄像头采集训练数据，彩色摄像头位置固定在区域五中，采集对象(用户)的面部正对彩色摄像头，然后分别注视9个区域，每个注视区域采集相同数量的n张图片；

2.2)、对不同采集对象都按照步骤2.1)进行图片采集，每个注视区域也采集n张图片；

2.3)、将所有采集对象的采集图片按照注视区域进行归类，得到9个注视区域的训练数据；

(3)、训练数据的标记