[发明专利]移动端眼动跟踪驱动的智慧课堂教学可视分析方法和系统

权利要求书

1.一种移动端眼动跟踪驱动的智慧课堂教学可视分析方法，包含如下步骤：

(1)眼动跟踪数据计算；

融合基于外观模型的眼动跟踪技术与基于特征模型的眼动跟踪技术，首先利用移动设备自身的前置摄像头拍摄人眼图像，然后基于外观模型提取稳定的特征点，再建立特征模型进行实时注视点计算；一般情况下，单个注视点持续时间大于阈值K1时才能反映有意识的认知活动；由于眼动跟踪系统精度有限，人眼在注视同一个目标时，会产生多个抖动的原始注视点，且部分注视点超出屏幕区域，因此需要对原始注视点进行过滤和聚类，消除视线抖动产生的误差，降低数据规模，提高数据的传输和存储效率；对于产生的注视点数据，按照时间上连续，空间上靠近的方式进行注视点聚类；首先设计大小为N，步长为L的滑动窗口进行注视点聚类，将滑动窗口内的N个注视点作为一组待聚类的数据，计算这N个注视点坐标的标准差，当标准差小于阈值SD时，将第一个注视点作为聚类结果的注视点；若标准差大于阈值SD，滑动窗口向后滑动L步长，重新连续取产生的N个注视点进行注视点聚类；

(2)眼动跟踪数据传输；

自定义不同类型的携带指令的数据包与服务器进行交互；数据包的类型和含义如表4-1所示；数据包的标号标识数据包类型，服务器解析数据包可以根据标号确定数据包的类型，从而进行不同的后续操作；心跳包(HEARTBEATPACKET)负责周期性的与服务器进行通信，保持与服务器的长连接；注视点数据包(GAZEDATAPACKET)携带一批注视点数据；注视点数据为实时的流式数据，常见的流式数据分批依据是时间阈值和基于数据大小阈值；采用混合阈值的方法，优先按数据大小阈值进行分批传输，如果超过预定时间还未到达该数据大小阈值，则也会被分为一批；离线通知包(OFFLINEPACKET)是在移动设备停止数据传输并通知服务器；离线通知包主要针对主动提出的停止传输请求，主动通知服务器停止数据传输并断开连接；交互包(CHAINPACKET)是服务器在响应某个类型的数据包之后进行返回，携带被响应的数据包的标号；此外，还有未在表中列出的服务器状态数据包；

(3)眼动跟踪数据存储；

由于注视点数据是实时流式数据，如果直接采用常见的关系型数据库进行存储和读取，将进行频繁的IO操作，影响系统的吞吐量；采用分级存储策略，将最新被用到的注视点数据存入内存缓存队列中，作为一级存储，MySQL数据库作为二级存储；内存数据的读取和存储速度较快，可加快可视化展示时注视点数据的分析速度；同时设置内存的上限阈值与数据的过期时间，当数据过期时或内存大小达到阈值时，采用最近最少策略将数据持久化到MySQL中；

(4)眼动跟踪数据可视化；

学生在浏览学习课件时所记录的注视点是大量抽象的坐标数据，如果直接将注视点数据呈现给教师，教师很难对其进行准确、直观的分析与理解，也难以从中获知学生对于课件的理解程度；因此对注视点数据进行进一步的分析与转换，按照时间序列转换为注视点轨迹图，按照空间关系转换为热区图，并为教师提供一个可视化交互界面，用于选择想要观察的对象及可视化类型；

对于需要学习的课件，可能存在多个相互关联的知识点，学生在学习过程中，往往会在相互关联的知识点之间进行视线切换；轨迹图是在注视点散点图的基础上，按照时间序列进行连线，能够反映出视线的切换过程，教师从学生的轨迹图中了解到学生的学习方法是否合理。

2.如权利要求1所述的移动端眼动跟踪驱动的智慧课堂教学可视分析方法，其特征在于：步骤(4)中用户一段时间内累积的注视点分布用热区图表示，使用像素透明度来表达热点区域。

3.一种移动端眼动跟踪驱动的智慧课堂教学可视分析系统，其特征在于：包括依次连接并馈送数据的以下模块：

(1)眼动跟踪数据计算模块，采用移动设备自带的摄像头拍摄人眼图像，计算人眼特征点，通过标定建立特征点与移动设备屏幕之间的映射模型，计算实时注视点；

(2)眼动跟踪数据传输模块，设计数据包格式，实时传输眼动跟踪数据；

(3)眼动跟踪数据存储模块，采用二级存储结构持久化存储眼动跟踪数据；

(4)眼动跟踪数据可视化模块，按照视线切换关系计算形成轨迹图，按照用户一段时间内累积的注视点分布计算热区图，教师可根据需求选择可视化类型和观察对象。