[发明专利]基于眼动跟踪的词义和摘要生成辅助方法及系统

说明书

本发明公开了基于眼动跟踪的词义和摘要生成辅助方法及系统，包括眼动跟踪数据计算模块、图像文本信息获取模块、用户阅读需求综合分析模块、词义和摘要生成模块；本发明的有益效果是：适用于纸质阅读和电子阅读两种场景，实现了用户阅读过程中的困惑预测，实现了根据用户阅读行为生成文本摘要，进而根据用户的眼动行为与文本信息来实现这些阅读辅助功能，提高了用户的阅读效率，为用户带来了便捷的阅读体验。

技术领域

本发明涉及人机交互技术领域，具体涉及一种阅读过程中基于眼动跟踪的词义和摘要生成辅助方法及系统。

背景技术

随着人工智能与计算机视觉技术的飞速发展，开始出现低成本、高精度的眼动跟踪设备，使得眼动跟踪技术得到了广泛应用。眼球运动表征了人类视觉注意力的时空分布特征，揭示了许多主观行为的潜在因素，因此眼动跟踪技术具有重要的应用价值。阅读行为分析和阅读过程辅助是眼动跟踪技术的一个重要应用场景，无论是纸质阅读还是数字化阅读，当人们在面对海量的文本信息时往往疲于阅读，因为传统的阅读方式难免遇到一些问题。以英文阅读为例，用户在阅读过程中可能会遇到不理解的词汇而陷入困惑，另外为了快速获取相关信息，快速浏览往往无法很好的平衡衡阅读速度和理解深度。在此背景下，本发明提出一种阅读过程中基于眼动跟踪的词义和摘要生成辅助方法及系统，实时跟踪用户的眼动注视点，获取用户所阅读的文本信息，通过对眼动数据和文本信息进行综合分析预测用户的困惑，当用户为单词感到困惑时为用户查询与展示单词词义；而当用户快速浏览时为用户生成与展示文本摘要，从而实现辅助阅读的目的；在此基础上设计了相应系统的架构和各模块。

发明内容

针对现有技术中存在的问题，本发明提供了设计合理的一种阅读过程中基于眼动跟踪的词义和摘要生成辅助方法及系统。

本发明的技术方案如下：

基于眼动跟踪的词义和摘要生成辅助方法，其特征在于，包括如下步骤：

1）眼动跟踪数据计算：首先需要用户完成标定过程，从而准确跟踪用户的实时注视点；

2）图像文本信息获取：对从场景相机中获取的图像进行文本信息获取；

3）用户阅读需求综合分析：结合眼动跟踪数据与文本信息对用户需求进行综合分析；

4）词义和摘要生成。

所述的基于眼动跟踪的词义和摘要生成辅助方法，其特征在于，所述步骤1）中眼动跟踪数据计算具体步骤如下：

用户佩戴眼动设备，对眼动设备上的两个相机采集的图像进行预处理，包括图像灰度化、利用高斯滤波进行图像去噪和阈值化操作；在特征检测过程中，一方面对眼部图像提取瞳孔中心点与普尔钦斑中心点所构成的PCCR向量，另一方面对场景图像，利用D-P算法检测所标定设备的位置，通过九个标定点建立向量与屏幕注视点之间的映射关系，从而能够得到实时的眼动跟踪注视点坐标。

所述的基于眼动跟踪的词义和摘要生成辅助方法，其特征在于，所述步骤2）中图像文本信息获取具体步骤如下：

首先对场景图像进行预处理，包括图像灰度化、利用高斯滤波进行图像去噪和自适应阈值化操作，通过形态学参数的迭代检测图像中字符与单词的最优检测尺度，通过CRNN深度模型对单词ROI图像进行预测得到文本内容，最终将文本与图像位置建立映射关系。

所述的基于眼动跟踪的词义和摘要生成辅助方法，其特征在于，所述步骤3）中用户阅读需求综合分析具体步骤如下：

首先对用户的阅读模式进行初步分析，确定用户的阅读方式是深阅读还是浅阅读，进一步地对于深阅读进行单词困惑分析，而对于浅阅读进行文本困惑分析；其中单词困惑预测通过对可观测量与用户困惑状态建立隐马尔可夫模型，预测用户的困惑状态，并通过注视点局部感知方法对困惑单词进行定位；另外，当检测到用户的阅读速度较快，存在不规律的回视与注视情况时，将用户定性为对文本的理解存在困惑。