[发明专利]基于脑电的目标图像检索系统

说明书

本发明基于脑电和机器学习理论，搭建一个人机交互的图像检索系统。该系统通过采集人在观察快速序列呈现的图像刺激时的脑电，利用机器学习的方法构建一个分类器，区分用户观看目标图像与非目标图像所产生的脑电。分类器对图像刺激诱发的脑电信号进行分析。分类器判断当前脑电是否为用户观看目标图像所产生的脑电数据，从而推断用户当前所看图像是否为目标图像。在基于脑电的目标图像检索系统中，用户只需要被动地观看计算机屏幕上呈现的图像序列，无须向计算机系统提交描述目标图像的语义特征、几何特征或物理特征的查询，该系统就可实现面向大规模图像的目标图像检索。

技术领域

本发明基于脑电和机器学习理论，搭建一个人机交互的图像检索系统。该系统通过采集人在观察快速序列呈现的图像刺激时的脑电，利用机器学习的方法构建一个分类器，分类器对图像刺激诱发的脑电信号进行分析，判断当前刺激的图像是否为用户感兴趣的目标图像。用户只需要被动地观看计算机屏幕上呈现的图像序列，无须向计算机系统提交描述目标图像的语义特征、几何特征或物理特征的查询，该系统就可实现面向大规模图像的目标图像检索。本发明结合了认知神经科学领域和信息技术领域的相关成果，属于一种用于图像检索的人机交互系统。

背景技术

图像可被人类直接感知和理解，也可用计算机进行处理，但计算机的处理能力远逊于人类且处理效率远不能满足当今社会的发展需求。例如，如何利用搜索引擎快速检索出对用户感兴趣的目标图像成为了一个难题，用户需要对目标图像的特征进行结构化描述，对于特定用户或在特殊环境下，目标图像的特征存在于用户的大脑中，很难进行清晰进行结构化描述，也就是说用户的目标图像的信息，很难通过传统的键盘、鼠标、语音输入等人机交互方式传递给计算机或搜索引擎。而人脑一直被认为是进行视觉信息处理的最强大的系统，人类视觉系统能够在几百毫秒内抓住一幅图像或者一个场景的重点，并能对其进行识别。如何结合人类视觉系统和计算机图像处理能力，从而大幅度提高计算机对视觉信息的理解能力与处理效率，将为国民经济和社会发展做出重大贡献。

近年来发展起来的神经信号记录与分析技术，为我们理解人类视觉系统的功能提供了技术保障。脑电图(electroencephalogram，EEG)是通过放置于头皮上的电极记录下来的脑细胞群的自发性、节律性电活动。从现有的研究成果来看，脑电信号中主要包含以下成分：诱发电脑电和自发脑电活动，前者一般用事件相关电位来刻画如P300，SSVEP(稳态视觉诱发电位)，N170等；SCP(皮层慢电位)；后者主要用脑电节律波来描述，如Delta节律(0-4Hz)，Alpha节律(4-8Hz)，Mu节律(8-12HZ)，低Beta节律(13-20HZ)，高Beta节律(21-30HZ)等。认知科学的研究表明，这些脑电成分是大脑内在活动的外在体现，用相应的算法来分析和提取这些成分，打开了观察人类大脑活动状态与认知功能的窗口。

脑机接口技术(Brain Computer Interface，BCI)是不依赖于脑的正常输出通路(外周神经系统及肌肉组织)的脑-机(计算机或其它装置)通讯系统。它通过采集人脑神经活动产生的电信号，进行放大并传输到计算机系统，计算机识别用户的意图并向外传输命令或进行通信。随着脑机接口技术的发展，其应用领域也由这初为重度残疾的病人提供视听觉与动动功能的辅助，扩展到人机双向信息交流工具与平台。利用脑机接口技术，计算机可以更直接地检测到用户的心理活动，包括用户大脑对于外界视觉刺激信息的加工处理。

近年来脑机接口的研究表明，利用用户观看图像过程中记录的脑电等神经信号，计算机可以从神经信号中识别出用户所观看的图像类别，甚至计算机能重构出用户所看图像的内容。这些研究表明脑电信号中可以解码用户对图像信息的加工处理，为图像检索提供了新的发展途径。本发明所述的图像检索系统结合机器计算能力与人类视觉系统对图像的处理能力，构建脑机协同的信息处理与交互系统，集成机器和大脑的优势，利用人脑高效鲁棒地处理图像复杂内容，以及准确快速抽象图像高层特征的优点，解决目前基于形式化表达体系的模式识别和机器智能方法在处理图像信息时所面临的瓶颈问题。

发明内容