[发明专利]一种基于双模态分类模型融合的扫视信号识别方法及系统

说明书

本发明公开了一种基于双模态分类模型融合的扫视信号识别方法及系统，属于眼电图技术领域，方法包括：同步采集受试者不同扫视动作类别的EOG数据和视频数据；对EOG数据和视频数据分别进行预处理；对EOG数据和视频数据进行端点检测；选择EOG数据端点检测结果和视频数据端点检测结果中有效数据较长端点作为最终的端点检测结果；将两种模态下的有效眼动数据段分成训练集和测试集并进行特征参数提取；将两种模态下有效眼动数据特征参数送入SVM分类器中进行训练，得到两种分类模型；对两种分类模型进行融合；利用测试集中的数据对模型融合进行测试以对扫视信号进行识别。本发明中融合后的特征具有更多互补信息，提高了信号识别鲁棒性。

技术领域

本发明涉及眼电图技术领域，特别涉及一种基于双模态分类模型融合的扫视信号识别方法及系统。

背景技术

人体行为识别(Human Activity Recognition，HAR)是对个体行为、人与人之间以及人与对象之间的交互行为的识别和表示。目前已被广泛应用于运动分析、虚拟现实以及病人监护等重点研究领域。

其中，眼动在日常行为活动中是比较普遍的活动，在人机交互、认知、药物效果以及心理学等方面都起着重要作用。在基于EOG的HAR系统中，扫视信号的识别对最终的人体行为识别结果起着重要作用。为了实现对扫视扫视信号的有效识别，目前提出的研究方案主要如下：

Bulling等人开发的连续小波变换扫视(CWT-SD)算法，该算法将水平和垂直的眼电图信号作为EOG信号分量，去除噪声后作为计算连续小波系数的输入参数，然后应用特定的阈值将水平和垂直的眼电图信号分成扫视或非扫视。

Larsson等人提出的一种在平滑追踪运动中检测扫视的新方法。通过将算法的结果与基于速度检测方法的现有结果进行比较来评估算法的性能。

类似地，在视频方法中，Pauly等人提出了一种新颖的视频跟踪和眨眼检测方法。该方法使用普通网络摄像机作为采集设备，即使在不受控制的照明条件下显示出良好的性能。

但是，目前的EOG识别存在的问题在于：一是，需要严格的EOG采集条件，在一些噪声相对较大的环境中，EOG就很难准确描述原始信号的特性；二是，在EOG的采集过程中需要使用多个导联进行数据采集以获取丰富的眼动信息，但是多个导联之间的相互影响也会对最终的人体行为识别带来偏差。

相比之下，基于视频的HAR系统可以很好的克服上述问题，但是基于视频数据的识别过程容易受到光纤的干扰，在光线较差的环境中，基于视频的HAR系统的性能会急剧下降。

因此，现有的单模态的扫视信号识别结果准确率不高，很难适用多变的环境。

发明内容

本发明的目的在于提供一种基于双模态分类模型融合的扫视信号识别方法及系统，以提高扫视信号识别的精确度。

为实现以上目的，第一方面，本发明提供一种基于双模态分类模型融合的扫视信号识别方法，包括：

S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；

S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；

S3、分别采用能量法对预处理后的EOG数据进行端点检测，采用阈值法对预处理后的视频数据进行端点检测，得到EOG数据的端点检测结果以及视频数据的端点检测结果；

S4、选择EOG数据端点检测结果和视频数据端点检测结果中有效数据较长端点作为最终的端点检测结果应用到EOG数据和视频数据中，得到EOG和视频两种模态下的有效眼动数据段；

S5、分别将两种模态下的有效眼动数据段分成训练集和测试集，对训练集和测试集中的有效眼动数据进行特征提取，得到两种模态下有效眼动数据的特征参数；