[发明专利]基于眼动和脑电相结合的图像检索方法

权利要求书

1.基于眼动和脑电相结合的图像检索方法，包括：

(1)输入待检索的原图像；

(2)将眼动设备和脑电设备同时连上一台被试机，将待检索的原图像呈现 在被试机上，让被试者观察这些图片，并同时记录下被试者的眼动数据和脑电数 据；

(3)根据记录的眼动数据和脑电数据生成待检索图像的热区图，热区图是 用0-255的RGB色彩表示感兴趣区域，且包含有固定时间段固视点的时间信息和 坐标信息；

(4)从生成的热区图中提取出待检索的目标图像；

(4a)通过Matlab软件将热区图中的所有坐标在原图中表示出来；

(4b)以每一个固视点的坐标为中心，得到含有100个像素点的矩形像素 块，提取出此像素块，作为待检测的目标图像；

(5)在图像库中，用全搜索方式对待检索的目标图像进行检索，根据检索 出的图像计算出查全率。查全率为在一次图像检索过程中，检索到的相关图像数 量占所有相关图像数量的比例。

2.根据权利要求1所述的基于眼动和脑电相结合的图像检索方法，其特征 于：步骤(3)中根据眼动数据和脑电数据生成热区图，按如下步骤进行：

(3a)根据被试者在看到自己感兴趣部分时的脑电波形变化，得到此变化的时 间段；

(3b)筛选出此时间段的眼动数据，并将此眼动数据表现为表格的形式；

(3c)将得到的眼动数据输入到DataViewer软件中，生成相应图像的热区图。

3.根据权利要求1所述的基于眼动和EEG相结合的图像检索方法，其特征 于：步骤(5)中基于全搜索算法的图像检索，按如下步骤进行：

(5a)读取图库中的图像，将此图像分割成与待搜索像素块一样大小的多个 像素块；

(5b)从搜索图像左上第一个像素块开始，计算其与待搜索像素块之间的欧 氏距离；

(5c)若两个像素块之间的欧氏距离为零时，则匹配成功，并开始计数，直 到将所有像素块遍历结束；

(5d)在图像库中，根据匹配的结果检索出的相似的图像，并计算查全率。

4.基于眼动和脑电相结合的图像检索方法，包括：

1)输入待检索的原图像；

2)将眼动设备和脑电设备同时连上一台被试机，将待检索的原图像呈现 在被试机上，让被试者观察这些图片，并同时记录下被试者的眼动数据和脑电数 据；

3)根据记录的眼动数据和脑电数据生成待检索图像的热区图，热区图是 用0-255的RGB色彩表示感兴趣区域，且包含有固定时间段固视点的时间信息和 坐标信息；

4)从生成的热区图中提取出待检索的目标图像；

4a)通过Matlab软件将热区图中的所有坐标在待检索的原图中表示出来；

4b)计算这些固视点坐标的质心，以此质心为中心，生成包含所有固视 点的矩形框，将此矩形框提取出来，作为待检索的目标图像；

5)在图像库中，用基于尺度不变特征转换SIFT算法的图像检索方法对待 检索的目标图像进行检索，并计算出查全率。

5.根据权利要求4所述的基于眼动和脑电相结合的图像检索方法，其特征 于：步骤3)中根据眼动数据和脑电数据生成热区图，按如下步骤进行：

3a)根据被试者在看到自己感兴趣部分时的脑电波形变化，得到此变化的 时间段；

3b)筛选出此时间段的眼动数据，并将此眼动数据表现为表格的形式；

3c)将得到的眼动数据输入到DataViewer软件中，生成相应图像的热区 图。

6.根据权利要求4所述的基于眼动和脑电相结合的图像检索方法，其特征 在于：步骤5)中基于尺度不变特征转换SIFT算法的图像检索，按如下步骤进 行：

5a)提取步骤4)中待搜索图像和搜索图像的SIFT特征点，并生成相应 的SIFT特征向量；

5b)用步骤4)提取出的待搜索目标图像中的每个特征点与搜索图像中的 所有特征点进行匹配，计算特征点之间的欧式距离，如果最近欧式距离除以次近 欧式距离所得的值小于设定的阈值0.6，则可判定欧式距离最小的一对特征点为 相匹配的特征点，并开始计数，直到待检索目标图像中所有的特征点都匹配结束；

5c)在图像库中，根据特征点匹配的结果得到检索出的图像，并计算出查 全率。