[发明专利]一种基于脑电联合特征学习的大规模视觉分类方法及装置

说明书

本申请提供了一种基于脑电联合特征学习的大规模视觉分类方法及装置，涉及计算机视觉、机器学习和生物神经科学领域，旨在提高基于脑电进行视觉分类任务的准确性。所述方法包括：获取待分类的视觉对象对应的脑电信号；提取所述脑电信号的时空特征和小波特征；将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，以通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

技术领域

本申请涉及计算机视觉、机器学习和生物神经科学领域，特别是涉及一种基于脑电联合特征学习的大规模视觉分类方法及装置。

背景技术

人类对于大脑活动的探究从未停止过脚步，自20世纪以来，探索人类大脑的工作机制就已成为世界的焦点。脑电图作为一种非侵入性测量技术，尽管空间分辨率很低，但其相对简单的操作和实验的低成本，使得其在情绪识别，运动想象，临床应用等领域都有着广泛的应用。视觉系统是人类感知外部世界的最主要途径，大脑的视觉加工过程出现在几百毫秒的时间范围内，是一个瞬间，动态的过程。由于电场传播的速度很快，脑电图(EEG)具有极好的时间分辨率，当图片快速展示在用户面前时，恰好能捕获大脑处理视觉任务的这一完整过程。神经科学研究表明，视觉信号在大脑中是一个感知到认知的过程，但是直到目前为止，依旧没有明确的视觉类别编码特征被提出。

伴随着生物神经科学和人工智能的发展，解码人的视觉编码过程成为近几年的一个热门话题。伴随着深度学习算法的发展，越来越多的算法被提出用于对大脑活动进行内容理解和认知，但其分类类别均在2分类到10分类之间。现有技术中，采用一种综合方法来训练一个分类器，在12种不同对象类别诱发的脑电信号区分中，准确率达到为29％；SimonePalazzo等人于17年首次公布了当时最大的用于视觉对象研究的脑电数据集，同时将40分类任务的准确度提高到了21.8％；基于最新的研究成果，Simone Palazzo等人利用孪生网络探究脑电和图像的内在关系，将四十分类任务的准确度提高至了48.1％；为了解决大多数模型只能处理单一BCI(脑机接口)任务，此前通过实现一个紧凑的卷积神经网络进行脑电分类，在架构的泛化性能上有了明显的提高。

然而脑电图用来做分类任务还存在一些问题，如脑电图数据通常很少，信号的信噪比低，个体差异性等。尽管目前产生了许多深度学习的模型被用于对人脑活动的研究和探索，但是基于脑电图的视觉分类在准确性，有效性和通用性上都有待提高。

发明内容

鉴于上述问题，本发明实施例提供了一种基于脑电联合特征学习的大规模视觉分类方法及装置，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，提供了一种基于脑电联合特征学习的大规模视觉分类方法，所述方法包括：

获取待分类的视觉对象对应的脑电信号；

提取所述脑电信号的时空特征和小波特征；

将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；

通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；

将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

可选地，提取所述脑电信号的时空特征和小波特征，包括：

对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征；

对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征。