[发明专利]一种基于视线估计的注意力智能监督方法

权利要求书

1.一种基于视线估计的注意力智能监督方法，其特征在于，包括以下步骤：

(1)、注视区域的划分

将用户前方的整个注视区域划分为了9块，学习交互机器人屏幕所在区域为区域五，把区域五设定为用户使用学习交互机器人进行学习的注意力集中区域；区域五的左上方为区域一、上方为区域二、右上方为区域三、左方为区域四、右方为区域六、左下方为区域七、下方为区域八、右下方为区域九；

(2)、训练数据的采集

2.1)、使用彩色摄像头采集训练数据，彩色摄像头位置固定在区域五中，采集用户的面部正对彩色摄像头，然后分别注视9个区域，每个注视区域采集相同数量的n张图片；

2.2)、对不同采集用户都按照步骤2.1)进行图片采集，每个注视区域也采集n张图片；

2.3)、将所有采集用户的采集图片按照注视区域进行归类，得到9个注视区域的训练数据；

(3)、训练数据的标记

对训练数据进行手动标记，标记内容包括两个方面：眼部位置的定位即眼部位于整张图片的什么位置，将眼部框选出来；眼部信息的类别即图片中框选出的眼部的信息对应划分的哪一个注视区域；标记过程简而言之就是为了告诉网络什么是眼，这样的眼的注视区域是几；

(4)、注视区域估计模型的构建与训练

采用Yolo网络作为注视区域估计模型，将Yolo网络中的GoogleNet网络的输入从224×224调整为了448×448，网络的初始卷积层从训练数据中提取特征，其它卷积层逐层进一步提取特征，最后的全连接层预测注视区域类别概率和边框；在激活函数的选取上，Yolo网络除最后一层使用逻辑激活函数外，其它层均是使用的ReLU(Rectified Linear Units，修正线性单元)；

在训练过程中，选择Yolo网络的官方模型的神经元的参数作为初始值，保留该模型的前23层，在训练过程中，根据训练数据，通过Yolo模型得到的输出与标签的误差来修改最后3层的神经元的参数，最后一层卷积层设置了70个过滤器；

设置训练的迭代次数、学习率以及训练多少张图片更新一次权重，然后，将训练数据送入设置好的Yolo网络中，得到一个基于Yolo网络的注视区域估计模型；

(5)、实时检测视线方向

通过学习交互机器人上的彩色摄像头对用户面部图像进行实时采集，并将采集的图片作为输入，送入注视区域估计模型中，得到边框即眼部位置以及对应的注视区域类别概率；

(6)、基于视线估计实现注意力检测

当实时检测结果在一段时间内都不是区域五，则代表用户注意力已经离开屏幕一段时间，用户已经离开了学习的状态，按照用户的学习时间进行判断，如果用户的学习时间低于设定的阈值，提示用户集中注意力，直到用户注视区域回到区域五；如果用户的学习时间高于设定的阈值，提示用户休息，并记录休息时间，休息结束后继续检测。

2.根据权利要求1所述的注意力智能监督方法，其特征在于，步骤(4)中，设置模型训练的迭代次数为50000次，学习率设置为0.00001，每训练64张图更新一次权重值。

3.根据权利要求1所述的注意力智能监督方法，其特征在于，还包括以下步骤：

(7)、使用学习交互机器人上的kinect彩色摄像头对用户位置进行定位，并判断用户处于理想使用状态还是处于非理想使用状态，如果处于理想使用状态，则返回步骤(6)，继续进行注意力检测，否则，转到步骤(8)；

(8)、用户标定

用户按照学习交互机器人的提示对9个区域进行注视，并采集此时用户所处位置注视9个区域的图片，然后使用采集的图片对注视区域估计模型进行一些修改，因为理想状态下卷积层提取到的特征依然适用于非理想状态，所以只需要使用这部分数据对模型的全连接层进行一些微调，微调过程可以分为两步：①自动标记数据，将标定过程采集到的数据输入到离线训练的注视区域估计模型中去，得到的检测结果中的注视区域信息用标记时记录的区域信息代替，即可完成自动标记；②微调模型，用自动标记的数据对模型进行训练，保持前24层神经元的参数不变，仅仅对全连接层神经元的参数进行修改；

然后用微调的模型替代离线训练的区域估计模型，即可对非理想状态下的用户进行注意力检测，返回步骤(6)。