[发明专利]基于眼动和脑电相结合的图像检索方法

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及一种图像检索方法，可用于物 体辨识、目标识别、影像追踪。

背景技术

目前，图像检索技术主要分为以下两类：

一类为基于文本的图像检索技术，即通过图像的作者、标题和创作时间等信 息来检索图像。这种方法有很多缺陷：一是图像本身包含信息量太大，文字不足 以涵盖如此多的内容；二是标注海量图像也是一项巨大的任务。

另一类为基于内容的图像检索技术，即采用图像处理、模式识别等技术，提 取图像数据中的颜色、形状和纹理等底层特征，基于这些底层特征，在进行图像 检索时，对一整幅给定的检索图像提取特征向量，建立特征库，利用相似性匹配 算法计算查询事例图像的特征向量与特征库中特征向量的相似度，根据相似度的 大小输出检索结果。然而随着信息技术的迅速发展，使得图像信息日益膨胀，如 果将整幅图片应用于图像检索中，不仅会带来计算过程的冗长复杂，增大了搜索 量，而且也使检索效率大大的降低。

发明内容

本发明针对上述现有技术存在的不足，提出了一种基于眼动和脑电相结合的 图像检索方法，以有效地降低搜索量，提高检索效率。

本发明的技术方案是这样实现的：

一.技术原理

眼动技术，是通过对眼动轨迹的记录，从中提取注视点、注视时间、眼跳 等数据，从而研究个体的内在认知过程。脑电技术则主要是通过波幅、潜伏期和 电位或电流的空间频率等指标来提供大脑工作过程的信息。脑电可以直接反映神 经的电活动，有极高的分辨率，因此它受到研究者的重视，成为一种比较成熟的 认知神经科学手段。

虽然眼动技术能有效推测个体的内在认知过程，但却不能直接揭示信息加工 的生理机制，而脑电指标却可以反映大脑中信息加工的生理过程，将眼动与脑电 技术相结合，不仅带来了科研上的突破，而且丰富了认知科学的研究成果。

由于人类大脑在感受到外界刺激时并不是全盘接受，而是会有主观的喜好， 从而产生注意程度的差异性。本发明通过眼动追踪技术和脑电可以直观地记录出 这种差异性，从而将视觉注意区提取出来进行检索。这种方法结合了直观的视觉 信息，从原图像中提取出感兴趣区区域，并通过提取兴趣区图像的底层特征建立 特征库，利用相似性匹配算法计算查询事例图像的特征向量与特征库中特征向量 的相似度，根据相似度的大小输出检索结果。

二.技术方案

根据上述原理，本发明给出如下两种技术方案：

技术方案1：一种基于眼动和脑电相结合的图像检索方法，包括：

(1)输入待检索的原图像；

(2)将眼动设备和脑电设备同时连上一台被试机，将待检索的原图像呈现 在被试机上，让被试者观察这些图片，并同时记录下被试者的眼动数据和脑电数 据；

(3)根据记录的眼动数据和脑电数据生成待检索图像的热区图，热区图是 用0-255的RGB色彩表示感兴趣区域，且包含有固定时间段固视点的时间信息和 坐标信息；

(4)从生成的热区图中提取出待检索的目标图像；

(4a)通过Matlab软件将热区图中的所有坐标在原图中表示出来；

(4b)以每一个固视点的坐标为中心，得到含有100个像素点的矩形像素 块，提取出此像素块，作为待检测的目标图像；

(5)在图像库中，用全搜索方式对待检索的目标图像进行检索，根据检索 出的图像计算出查全率。查全率为在一次图像检索过程中，检索到的相关图像数 量占所有相关图像数量的比例。

技术方案2：一种基于眼动和脑电相结合的图像检索方法，包括：

1)输入待检索的原图像；

2)将眼动设备和脑电设备同时连上一台被试机，将待检索的原图像呈现 在被试机上，让被试者观察这些图片，并同时记录下被试者的眼动数据和脑电数 据；

3)根据记录的眼动数据和脑电数据生成待检索图像的热区图，热区图是 用0-255的RGB色彩表示感兴趣区域，且包含有固定时间段固视点的时间信息和 坐标信息；

4)从生成的热区图中提取出待检索的目标图像；

4a)通过Matlab软件将热区图中的所有坐标在待检索的原图中表示出来；

4b)计算这些固视点坐标的质心，以此质心为中心，生成包含所有固视 点的矩形框，将此矩形框提取出来，作为待检索的目标图像；