[发明专利]一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法

说明书

技术领域

本发明涉及社会媒体中图像检索领域，具体涉及一种图像低层视觉特征与图像文本描述信息的特征融合系统及方法，计算文本描述信息与图像之间的相关度。

背景技术

随着现代多媒体技术以及网络技术的快速发展以及社会媒体的兴起，越来越多的用户热衷于在社会媒体中传输、分享图像，人们在上传图像的同时也可能会提供图像的标题、拍摄时间、图像内容等文本描述信息。目前越来越多的社会媒体分享平台(如Flickr等)给人们提供了标签服务，人们能够通过打标签的方式来标注图像，标签服务在很大程度上丰富了图像的文本描述信息。随着社会媒体中图像数量的急剧增大，如何快速、准确得从海量图像资源中查找到用户满意的图像成为一个很有意义也很有挑战性的问题。

传统的图像检索方法大致可以分为两类：基于文本的图像检索(TBIR)和基于内容的图像检索(CBIR)。图像的特征层次有低层视觉特征和高层语义特征。社会媒体中的图像主要包含两类信息：一是图像本身低层视觉信息，二是图像的文本描述信息，包括标题、元数据信息、标签和其他一些描述文本。

基于文本的图像检索起源于上个世纪七十年代，通过关键词的形式查询图像，在对用户查询请求和被检索图像的文本描述信息进行相似度匹配之前，需要对图像的文本描述信息进行关键字提取，并根据关键字对图像建立索引。目前多数商用的图像检索系统采用的都是基于文本的图像检索方法。基于文本的图像检索方法依赖图像的人工标注信息，在此基础上使用比较完善的文本检索算法进行检索，因此能够进行高效的检索。

基于内容的图像检索使用图像的低层视觉特征对图像进行检索，用户通过样例图像的方式进行检索。在建立图像数据库时，系统对图像进行分析并提取图像的低层视觉特征，以图像视觉特征建立索引。在用户进行检索时，首先提取样例图像的视觉特征，然后采用相似度匹配算法对样例图像的特征和图像库中图像的特征进行匹配，按照匹配度大小将图像返回给用户。

基于文本的图像检索依赖于文本关键字，图像检索仅对这些文本描述建立索引、进行匹配；然而文字标签很难完全表达丰富的图像内容，而且人工标注工作量巨大，且存在容易出错、比较泛化、主观性强等缺点。基于内容的图像检索仍是一个很有挑战性的研究，其核心问题是采用何种方式描述图像内容，这类图像检索主要集中在颜色、纹理、轮廓灯低层视觉特征提取的基础上，但由于图像底层特征的描述和提取、特征间相似度度量的复杂性，无法完全解决高层语义和低层特征之间的“语义鸿沟”，其技术仍不成熟。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法，有效的提高了文本描述信息的准确性和完整性，更好地满足基于文本的图像检索对于文本准确性的要求。

而且本发明还可以提高图像文本描述信息的准确度，进而可以提高通过关键词进行图像检索的准确度。

本发明解决其技术问题所采用的技术方案：一种社会化媒体图像内容特征和文本描述信息融合系统，为了提高社会媒体图像的文本描述信息的准确性、完整性，进而提高基于文本的图像检索的准确性，本发明对图像的底层内容特征和文本描述信息进行了特征融合，提高文本描述信息的质量；

为了实现上述目的，本发明设计了如下4个模块：文本处理模块、图像视觉特征抽取模块、图像邻居计算模块、特征融合模块，如图1所示；图像数据库中图像的文本标注数据送至文本处理模块进行处理，图像数据送至图像视觉特征抽取模块，图像视觉特征抽取模块输出的视觉特征数据传送至图像邻居计算模块，最后将文本处理模块输出的文本信息和图像邻居计算模块输出的图像邻居信息送至特征融合模块进行特征融合，各模块的具体描述如下；

文本处理模块的输入数据来自图像数据库中图像的文本标注信息，对图像的标题等文本描述信息进行分词，对分词后的文本和图像的标签进行去停用词、提取词干处理；对每幅图像，保存其经处理后的单词列表中出现过的单词，作为该图像的文本描述集合；对整个图像集的文本描述集合，统计所有出现过的单词，并计算每个单词t的全局出现概率，即文本描述集合包含单词t的图像数与整个图像集的图像数的比值即文本描述集合包含单词t的图像数与整个图像集的图像数的比值，将文本处理模块输出的文本信息输出至特征融合模块；