[发明专利]一种基于多语义分析和个性化排序的语义检索方法

说明书

技术领域

本发明属于信息检索领域，尤其涉及一种基于多语义分析和个性化排序的语义检索方法。

背景技术

搜索引擎是一个根据一定策略、运用特定的计算机程序从互联网上搜集信息并对信息进行组织和处理后，为用户提供检索服务并将用户检索的相关信息展示给用户的系统。为了应对互联网上的信息容量的快速增长，搜索引擎应运而生。时至今日，它已经成为了人们从网络上获取信息的必不可少的途径。但是，当今主流的基于关键字的搜索引擎如Google、Baidu、Bing、Yahoo等，普遍存在一些棘手问题。如用户搜索的结果会普遍存在大量不相关的链接；由于用户人群的多样性，单一的结果不能针对性的满足每个用户的特殊需要；搜索过程不考虑词之间的语义相关度，且搜索结果没有有效地按某种方式组织起来，用户不得费时费力浏览和挑选。

语义搜索是一种新型的不同于基于关键字搜索的搜索方式。一般来讲，语义搜索的工作不再拘泥于用户所输入请求语句的关键字本身，而能够较为准确地捕捉到用户所输入语句潜在的意图，从而能更准确地向用户返回最符合其需求的结果，相比传统的搜索具有较高的检索精度和独到的优势。Ramesh Singh和Myungjin Lee在其研究中试图对搜索结果进行重新组织，来改善用户的搜索体验。Lien-Fu Lai和Huanhuan Cao利用隐马尔科夫树或其他模型来计算不同结果间关系的相关度，从而增加搜索结果的涵盖面。FangLiu和Jaime Teevan等提出了各种利用用户历史访问信息进行个性化搜索的方法，用以提高搜索的精度。上述这些研究在语义搜索方面都进行了适当的改进，但这些研究在基于对用户查询归类的个性化中，所能实行个性化的条件比较苛刻，且时间消耗的增加控制不好；其次，过程中没有考虑到与用户相关的不同信息具有不同的权重。因此，对最终搜索结果的排序处理方式仍旧不尽人意。

发明内容

针对现有信息检索在检索精度和用户检索体验方面存在的问题，本发明提出了一种基于多语义分析和个性化排序的语义检索方法。

一种基于多语义分析和个性化排序的语义检索方法，其特征在于，具体包括以下步骤：

步骤1：利用爬虫技术从互联网上获取网页文档的一部分作为训练模型进行手工分类，结合多语义分析方法MSA构造词向量库，将网页文档用向量表示，并把训练模型放到支持向量机SVM分类器中对文档向量进行训练，新的网页利用此模型借助SVM进行分类；将所有网页的类别信息作为一个属性写到索引库中；

步骤2：基于步骤1形成的词向量库，将用户输入的检索关键词构造各自的词向量，形成最终的查询向量，并将查询向量与索引库进行类别匹配查询，得到初始的网页检索结果。

步骤3：根据用户的个人定制信息和历史访问信息对初始检索结果进行优化排序，并将最终检索结果返回给用户。

步骤1中，基于多语义分析方法MSA构造词向量库，并将网页文档的分类结果写到索引中，形成索引库的过程；具体包括以下几个步骤：

步骤11：构造概念空间；本发明设定空间为m维。

概念空间的基础维度是一些类别标签的集合，能够表示整个语料库的信息，一般从语料库分类标签中直接提取的m个类别标签构成向量的m个维度，则网页文档中每个词的语义信息由一个m维向量来描述，称为词向量；

步骤12：词向量分量值的确定：

词是从训练模型的网页文档中提取出来的，词向量的每一个分量值的大小由训练模型的所有文档来决定，词向量的每一个分量值计算公式为：