[发明专利]一种基于脑电图数据的深度学习视觉分类方法

说明书

技术领域

本发明涉及计算机视觉、机器学习和认知神经科学领域，尤其是涉及了一种基于脑电图数据的深度学习视觉分类方法。

背景技术

信息时代科技发展突飞猛进，对计算机的视觉处理能力要求越来越高，人类在解释视觉场景方面表现出优秀的性能，机器仍然无法达到。尽管最近重新发现的卷积神经网络已使自动视觉分类的性能得到显着改进，但是它们的泛化能力不在人的水平，因为它们学习一个有区别的特征空间，其严格依赖于所采用的训练数据集而不是更一般的数据集，这反映了基于认知的自动化方法执行视觉分类任务的困难。而如果采用基于脑电图数据的深度学习视觉分类方法，则可以解决解码视觉对象相关的脑电图数据的问题，而且让机器读懂人的想法，模仿人类视觉功能执行自动化视觉对象分类任务。

本发明提出了一种基于脑电图数据的深度学习视觉分类方法，它包括两个阶段：(1)基于递归神经网络的方法学习视觉刺激诱发的脑电图数据，并输入编码器得到该数据更紧凑的表示，即脑电图特征；(2)采用将图像回归到所学习的脑电图特征表示中的基于卷积神经网络的方法，从而使得能够在“基于大脑的视觉对象流形”中进行自动视觉分类。本发明在图像识别方面，比起基于卷积神经网络的方法，在分类能力和一般化能力更具竞争性；启用一种新形式的基于大脑的图像标记，它提供有关人类视觉感知系统的有意义的洞察；有效地将图像投射到新的基于生物的流形将根本改变对象分类器的开发方式。

发明内容

针对基于认知的自动化方法执行视觉分类任务困难的问题，本发明的目的在于提供一种基于脑电图数据的深度学习视觉分类方法，首先它采用由视觉对象刺激因素诱发的脑电图数据联合递归神经网络来学习一个有识别能力的大脑活动视觉分类流形，然后训练一个基于卷积神经网络的回归元，它将图像映射到学习好的流形，最后计算机采用基于人类大脑的特征执行自动化视觉分类任务，得到图像分类结果。

为解决上述问题，本发明提供一种基于脑电图数据的深度学习视觉分类方法，其主要内容包括：

(一)脑电图数据采集；

(二)学习脑电图；

(三)脑电图特征提取；

(四)自动分类。

其中，一种基于脑电图数据的深度学习视觉分类方法，训练一个基于卷积神经网络的回归元，它将图像投射到脑电图流形，从而有效地允许机器采用基于人类大脑的特征来执行自动化视觉分类任务。

其中，所述的脑电图数据采集，让被试者观看ImageNet数据库里的40个对象类的图片时的大脑活动，这40个对象类包含狗、猫、猫头鹰、海豹等；使用32信道脑电图来记录被试者观看图片受视觉刺激时产生的大脑信号，去掉不传达任何有用信息的三个通道后，得到多通道(29个通道)时间脑电图序列；将一般的输入脑电图序列称为s(c，t)，其中c(从1到29)对应一个通道，t(从1到110)对应时间上的一个样本，使用符号(·)来表示“所有值”，s(·，t)表示时间t处所有通道的向量，s(c，·)表示通道的整个时间样本集C。

进一步地，所述的图片，2000张图片(每个对象类别50张)显示0.5秒，每个类别的图片持续显示25秒，随后是只显示黑色图像的10秒暂停时间。

其中，所述的学习脑电图，预处理后的脑电图多通道时间信号，作为输入提供给编码器模块，编码器模块处理整个时间序列并输出脑电图特征向量作为输入的紧凑表示。

进一步地，所述的编码器，包括基于长短期记忆(LSTM)递归神经网络来分析序列数据，它能跟踪输入数据中的长期依赖关系；本专利采用以下三种编码器架构：

(1)公共LSTM：编码器网络由LSTM层的堆栈组成；在每个时间步骤t，第一层取输入s(·，t)(在这个意义上，“公共”意味着所有脑电图通道最初被馈送到同一LSTM层)；如果存在其他LSTM层，则第一层的输出(其可以具有与原始输入大小不同)被提供作为第二层的输入，等等；最后一个时间步长处的最深LSTM层的输出被用作整个输入序列的脑电图特征表示；

(2)通道LSTM+公共LSTM：第一编码层由几个LSTM组成，每个LSTM仅连接到一个输入通道：例如，第一LSTM处理输入数据s(1，·)，第二LSTM处理s(2，·)，等等；以这种方式，每个“通道LSTM”的输出是单个通道的数据的总结；然后，第二编码层通过接收所有信道LSTM的级联输出向量作为输入来执行通道间分析；如上所述，在最后时间步长的最深LSTM的输出被用作编码器的输出向量；