[发明专利]一种基于双模态分类模型融合的扫视信号识别方法及系统

摘要

本发明公开了一种基于双模态分类模型融合的扫视信号识别方法及系统，属于眼电图技术领域，方法包括：同步采集受试者不同扫视动作类别的EOG数据和视频数据；对EOG数据和视频数据分别进行预处理；对EOG数据和视频数据进行端点检测；选择EOG数据端点检测结果和视频数据端点检测结果中有效数据较长端点作为最终的端点检测结果；将两种模态下的有效眼动数据段分成训练集和测试集并进行特征参数提取；将两种模态下有效眼动数据特征参数送入SVM分类器中进行训练，得到两种分类模型；对两种分类模型进行融合；利用测试集中的数据对模型融合进行测试以对扫视信号进行识别。本发明中融合后的特征具有更多互补信息，提高了信号识别鲁棒性。

主权项

一种基于双模态分类模型融合的扫视信号识别方法，其特征在于，包括：S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；S3、分别采用能量法对预处理后的EOG数据进行端点检测，采用阈值法对预处理后的视频数据进行端点检测，得到EOG数据的端点检测结果以及视频数据的端点检测结果；S4、选择EOG数据端点检测结果和视频数据端点检测结果中有效数据较长端点作为最终的端点检测结果应用到EOG数据和视频数据中，得到EOG和视频两种模态下的有效眼动数据段；S5、分别将两种模态下的有效眼动数据段分成训练集和测试集，对训练集和测试集中的有效眼动数据进行特征提取，得到两种模态下有效眼动数据的特征参数；S6、将两种模态下有效眼动数据的特征参数分别送入SVM分类器中进行训练，分别得到基于EOG的分类模型以及基于视频的分类模型；S7、利用基于决策层面的模型融合方法将基于EOG的分类模型和基于视频的分类模型进行融合，将决策输出类别作为融合后的分类结果；S8、利用测试集中数据的两种模态下有效眼动数据的特征参数重新执行步骤S6～S7；S9、判断得到的测试结果是否满足预设值；S10、若是，则执行步骤S6～S7对当前采集的两种模态下有效眼动数据特征参数进行处理，进行扫视信号识别，若否，则重新执行步骤S1。