[发明专利]基于视觉特征和语义特征的跨媒体检索方法

摘要

本发明针对互联网海量异构数据之间错综复杂的关系的公开了一种基于视觉特征和语义特征的跨媒体检索方法，主要包括以下几个步骤：第一步，使用二次开发的分布式网络爬虫对目标数据源的数据进行抓取；第二步，针对不同数据源，分别编写不同的模板，对网页进行基于模板的信息提取，对数据进行解析去噪，并存入数据库中；第三步，对图片提取特征值并建立索引，建立语义关联图；第四步，使用SVM支持向量机和已经训练过的模型，对内容进行分类；第五步，根据提取出的视觉特征和语义特征，计算不同类型数据之间的相似距离，分析不同类型数据之间的关联性。采用本方法，可以较有效地挖掘出不同类型数据之间的关联性。

主权项

1.基于视觉特征和语义特征的跨媒体检索方法，该方法包括以下步骤：A)数据抓取：使用二次开发的分布式网络爬虫对目标数据源的数据进行抓取；B)数据或信息的初步处理：针对不同数据源，分别编写不同的模板，并且对网页进行基于模板的信息提取，对提取的数据或信息进行解析去噪，并存入数据库中；其中：所述的分别编写不同的模板、对网页进行基于模板的信息提取的过程包括以下步骤：基于网页Html结构的特征来自动生成不同的模板，针对相似网页进行信息提取；C)从存储的数据或信息分别提取视觉特征和提取语义特征，该步骤C)包括以下子步骤：C1)提取视觉特征：提取图片特征，生成一个表示图片特征的144维直方图；和C2)提取语义特征：首先，C21)基于同时出现在一个网页中的图片存在一定的语义相关性的假设，以网页为共现窗口，设计共生算法得到第一阶段的语义关系图，即，将网页作为结点，最终不同的网页之间生成彼此不连通的图；其次，C22)对各个网页的所有图像根据CEDD、FITC图像特征应用Affinity Propagation算法进行聚类，同一类的图像视为类似图像，同一类的图像合并为一个点，该点保持与其他点关联，因此将彼此不连通的图连通并形成语义信息丰富的语义关系图，即，生成语义关联图；其中：子步骤C21)生成彼此不连通的图的过程包括：依据假设出现在同一网页中的图片彼此相关，将一张图片看作一个点，图片和图片之间的关系看作点与点之间的边，同一个网页中的图片及其关系按上述子步骤C21)生成彼此不连通的图的过程即形成每对顶点之间恰好连有一条边的图，各个网页形成彼此不连通的图；D)内容分类：使用SVM支持向量机和已经训练过的模型，对通过爬虫抓取到的数据或信息的内容进行分类；E)跨媒体检索：根据上述子步骤C1)所提取出的视觉特征和上述子步骤C2)所提取出的语义特征，计算不同类型数据之间的相似距离，从而分析不同类型数据之间的关联性，进行检索。