[发明专利]一种基于深度学习的目标识别及反馈系统

说明书

本发明涉及一种基于深度学习的目标识别及反馈系统，属于视觉搜索人机交互领域，公开了一种基于外部注意力机制的深度学习网络对脑电信号进行分类识别的方法和一种脑电自动矫正方法，具有提高目标识别效率的效果。该系统包括离线训练模块：用于通过对用户进行视觉刺激，使用户产生与任务相关的脑电，并采集脑电数据作为训练样本；在线训练模块：用于在用户进行目标搜索时实时采集用户的脑电数据，并将目标识别模块识别的结果实时反馈给用户；脑电信号自动矫正模块：根据不同用户间的脑电差异，自动学习矫正函数，从而对脑电进行矫正，并将矫正后的脑电信号输入目标识别模块；目标识别模块：用于对脑电信号进行分析，识别出用户目标搜索的结果。

技术领域

本发明属于视觉搜索人机交互领域，涉及一种基于深度学习的目标识别及反馈系统。

背景技术

随着社会的不断发展，脑科学也进入了一个快速的发展期，世界各科研强国相继吹响了探索大脑奥秘的号角，因此，以探索大脑奥秘、发展人机协同为导向的脑科学研究和发展人工智能技术为导向的类脑研究的中国脑计划也正式启动。脑电是从头皮表面记录到的大脑神经元电位变化，是大量神经元同步发生的突触后电位的总和，它是一种电场电位，在头表表现为不同点之间的电位差的变化，其主要来自兴奋性和抑制性突触后电位。虽然脑电信号被用来描述伴随心理过程的神经电生理变化的历史有几十年了，但直到20世纪90年代末，它才被用来研究认知相关任务。

传统的机器学习算法(例如SVM、KNN等)存在以下的缺点：(1)将特征提取和特征分类分开，增加了工作量；(2)对脑电经过繁杂的预处理，再利用大量的先验知识来提取分类特征；(3)由于脑电信号涉及到时间、空间和频域等多个维度信息，人工提取特征的方式可能会忽略具有判别力的信息。

发明专利申请CN110610168A公开了一种基于自注意和通道注意以及LSTM的方法，该方法利用卷积神经网络(CNN)和通道注意力机制(Channel-wise attention)提取原始EEG信号中的空间信息，再使用循环神经网络(RNN)和自注意力机制(Self-attention)提取经过编码后样本中的时间信息，并最终得到EEG信号的分类特征。但是，该方法中使用的通道注意力机制和自注意力机制都是基于数据自身的注意力机制，没有考虑到用户在同种任务下脑电的共性；该方法中使用的注意力机制和RNN网络计算的复杂度非常高，从而消耗更多的计算资源；该方法使用的是整个脑电时间特征，没有考虑到在时间上动态变化过程，而且没有考虑数据之间的个体性差异与共性。

发明专利申请CN103077205A公开了基于脑电的图像检索系统，利用人类视觉系统在目标图像检测中的优势，设计一种新型的人机协同工作的图像检索系统。该方法没有在用户检索图像状态不佳的时候使用反馈模块帮助用户改善自己的状态，提高用户检索的精确度，而且其在分类模块使用的是传统的机器学习方法，需要进行手工提取等繁杂的工作。

发明内容

有鉴于此，本发明的目的在于解决现有存在识别系统中没有将识别与训练相结合的系统，脑电识别方法计算过程复杂，神经网络中的注意力机制没有考虑数据之间关系以及计算复杂度高的问题，提供一种深度学习的目标识别及反馈系统。系统基于视觉刺激时的神经响应，检测了用户对目标识别的状态，并且对目标识别的结果给予反馈。通过这种反馈的形式来提高用户目标识别精度和速度。同时提出一个计算复杂度低，能够学习数据之间相关关系的目标识别方法。

为达到上述目的，本发明提供如下技术方案：

一种基于深度学习的目标识别及反馈系统，包括离线训练模块、在线训练模块、脑电信号矫正模块和目标识别模块；

所述目标识别模块采用基于外部注意力机制的深度学习网络对目标进行识别，所述深度学习网络包括注意块、时空卷积块和分类块，每个时空卷积块都是由一个或者多个隐藏层组成；所述注意块采用外部注意力机制对脑电信号特性进行增强与学习。