[发明专利]一种基于脑电联合特征学习的大规模视觉分类方法及装置

权利要求书

1.一种基于脑电联合特征学习的大规模视觉分类方法，所述方法包括：

获取待分类的视觉对象对应的脑电信号；

提取所述脑电信号的时空特征和小波特征；

将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；

通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；

将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别；

其中，所述提取所述脑电信号的小波特征包括：

对预处理后的所述脑电信号进行小波变换，得到不同频带的一系列小波系数，从所述一系列小波系数中提取所述脑电信号的小波特征；

所述视觉分类模型是按照以下步骤训练得到的：

获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本；

提取所述训练样本中的脑电信号数据集中的各个脑电信号的时空特征和小波特征；

将所述各个脑电信号的时空特征输入预设模型的提取时空嵌入模块，得到对应的时空特征的特征向量，将所述各个脑电信号的时空特征输入预设模型的提取时频嵌入模块，得到对应的小波特征的特征向量；

通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量；

通过所述预设模型的分类网络对各个脑电信号的联合特征向量进行处理，以预测所述各个脑电信号对应的类别；

根据预测得到的各个脑电信号对应的类别与各个脑电信号对应的标签之间的差异，建立损失函数；

以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数对所述预设模型进行训练，得到所述视觉分类模型。

2.根据权利要求1所述的方法，其特征在于，提取所述脑电信号的时空特征和小波特征，包括：

对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征；

对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征。

3.根据权利要求2所述的方法，其特征在于，对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征，包括：

采用TP9和TP10电位对所述脑电信号进行重参考；

使用1-100Hz的滤波器对重参考后的脑电信号进行初始滤波；

采用独立分量分析，对初始滤波后的信号中除脑电信号外的其他噪声信号进行去噪；

采用FIR滤波器对去噪后得到的脑电信号进行14-100HZ的带通滤波；

将经过带通滤波后的脑电信号划分成多段，得到所述脑电信号的时空特征。

4.根据权利要求2所述的方法，其特征在于，对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征，包括：

基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征。

5.根据权利要求4所述的方法，其特征在于，基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征，包括：

通过以下等式得到所述小波系数：

该式中，C_j，k为所述小波系数，为所述预设小波基函数，STF(n)是经过预处理后的脑电信号；n表示采样点；

从所述小波系数中提取所述小波特征。

6.根据权利要求1所述的方法，其特征在于，获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本，包括：

获得多种类别标签的视觉对象图像数据集；

采集用户观看所述多种类别标签的视觉对象图像数据集而产生的脑电信号；

将每种类别标签的视觉对象图像数据集和对应的脑电信号数据集相组合，得到所述训练样本。