[发明专利]一种基于深度学习的目标识别及反馈系统

权利要求书

1.一种基于深度学习的目标识别及反馈系统，其特征在于：包括离线训练模块、在线训练模块、脑电信号矫正模块和目标识别模块；

所述目标识别模块采用基于外部注意力机制的深度学习网络对目标进行识别，所述深度学习网络包括注意块、时空卷积块和分类块，每个时空卷积块都是由一个或者多个隐藏层组成；所述注意块采用外部注意力机制对脑电信号特性进行增强与学习；

所述脑电信号矫正模块用于自动矫正不同用户之间的脑电差异，根据不同用户间脑电存在的差异，脑电矫正函数学习矫正参数，从而自动矫正脑电之间的差异，并将矫正后的脑电信号输入目标识别模块；

所述离线训练模块用于通过对用户进行视觉刺激，使用户搜索目标并产生与视觉搜索任务相关的脑电，同时采集用户脑电数据作为训练样本，输入脑电信号矫正模块进行自动矫正；

所述在线训练模块用于在用户进行目标搜索时实时采集用户的脑电数据，依次传输给脑电信号矫正模块和目标识别模块，并将目标识别模块识别的结果实时反馈给用户。

2.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：当用户对目标识别正确，给用户反馈正性界面；当用户对目标识别错误，在反馈负性界面，并标注出正确的目标位置，用户根据反馈结果调整自己的状态。

3.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：所述离线训练模块和在线训练模块均是通过视觉刺激子模块对用户进行视觉刺激，视觉目标刺激流程如下：

流程开始时，在一个黑色背景的屏幕中间出现一个固定“十”字，提醒用户开始训练；

在接下来的过程中刺激图片和中间有“十”字的黑色背景图片交替出现，刺激图片呈现的时间根据用户的适应情况适当调整；

当识别目标出现在“十”字左边时，用户需要按下鼠标左键，当识别目标出现在“十”字右边时，用户需要按下鼠标的右键；

在用户训练的过程中，使用国际10-20系统来记录用户的脑电。

4.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：所述脑电信号矫正模块的矫正步骤如下：

S11：首先通过max函数找到与特定认知任务相关的激活点i：

i＝max(x²)

S12：获取深度学习网络所需要的特定认知状态分布脑电

x＝{c_i-a,…,c_i-a+499}

S13：对特定认知脑电信号进行映射，映射范围根据脑电进行学习，公式为：

o＝A(x)+β

其中，s为刺激开始点，a是根据特定认知任务设定的常量，A为可学习参数，β为范围矫正，o为矫正之后的脑电信号。

5.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：所述目标识别模块采用的外部注意力机制的深度学习网络包括注意块，时空卷积块和分类块，每个卷积块都是由一个或者多个隐藏层组成，网络搭建的具体流程如下：

在注意块中，执行两个步骤：一个卷积和一个特征注意层；首先，进行2D卷积时，输出包含不同频率的脑电信号特征图，随后，进行注意步骤时，注意机制对学习到的脑电信号进行加权，从而获取关注的显著信号，对资源进行重新分配；

在时空卷积块中，执行两个卷积步骤：首先使用Depthwise卷积来学习一个空间滤波器；然后使用Separable卷积学习脑电的时间特征，Separable卷积核大小为(1,16)；在使用非线性激活函数ReLU之前，对特征图使用批归一化技术，防止梯度消失和梯度爆炸问题；然后使用dropout技术解决模型在训练过程中过拟合的问题；最后使用一个池化层来对特征进行降维；

通过分类快对特征进行分类：首先通过Flatten层将前面学习到的特征展开成一维向量，求出的两个神经元求概率，概率最大的那个神经元就是深度学习网络所求得的类别。

6.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：所述外部注意力机制用于对脑电中的特征进行注意力的重新分配以及特征的增强，包括以下步骤：

S21：将原始的特征变换为多个特征层：

其中i表示生成的第i个特征层，A表示可学习参数矩阵，I表示输入特征；

S22：对特征进行通道权重重新分配：

其中e是自然数，λ_i,j表示第i个特征层的第个特征计算通道权重之后的特征，α_c,j表示第c个通道的第j个特征；

S23：对特征进行时间点进行权重计算以及脑区显著性新分配，对脑电相关认知任务的时间特性进行学习：

其中β_i,j表示为第i个特征层第j个特征经过重新分配权重之后的特征；

S24：通过权重分配过后的特征，经过线性层的学习数据之间的关系和共性：

其中χ_i表示第i层的第j个特征经过全局权重更新过后的特征，表示全局可学习参数；

S25：将学习到的多层特性进行融合，作为整个特征注意层的特征输出，其表达式为：

其中o是输出特征，χ_h表示第h学习到的特征。