[发明专利]面向搜索引擎的中英混合查询纠错的方法及系统

说明书

本发明涉及一种面向搜索引擎的中英混合查询纠错的方法及系统，该方法或系统基于N‑gram语言模型以及多种纠错策略，实现对搜索引擎中带有部分错误的中英文混合查询的纠错。

技术领域

本发明涉及搜索引擎技术领域，更具体地，涉及一种面向搜索引擎的中英混合查询纠错的方法及系统。

背景技术

对于查询词纠错的需求一开始是源自于搜索引擎的日志分析，搜索日志里发现有大量包含有部分错误的查询词。对带有部分错误的查询词进行查询时，会大大降低搜索引擎的查全率与查准率。因此对查询词进行纠错的技术被引入至搜索引擎系统中，来解决由于用户输入了带有部分错误的查询词而导致无效查询的问题。

查询纠错是针对信息检索系统中查询语句的拼写纠错。查询语句直接影响信息检索系统返回结果的可靠性与准确性，所以现有的很多信息检索系统都会对查询语句进行纠错处理，确保返回的检索信息能够满足用户需要，提高用户检索效率和检索结果命中率。

中文信息检索系统中的查询词类型一般有:中文、拼音、英文等形式。中文查询中会出现同音字错误、近音字错误、形近字错误、拼音转汉字错误、拼音中字母缺失、前后字置换、汉字缺失等现象；英文查询按照错误类型不同，分为非词错误和真词错误。非词错误是指拼写错误的词不存在，例如，将“the”错误拼写为“tha”；真词错误是指那些拼写错误后的词仍然是合法的情况，例如，将“the”错误拼写为“then。

英文纠错技术仅考虑了英文搜索引擎中查询包含的错误，即英文单词的拼写错误、使用不当和空格的缺失等，中文搜索引擎中包含的错误类型更多，语言的形式更复杂。

现有的中文查询纠错方法多采用将查询词内的中文转换为拼音，然后查找词典中拼音与该查询词拼音字符串相似或相同的候选词条，最后通过词频或语言模型的方式决定候选词条是否为纠错结果。

对于中文信息检索系统中，大部分只支持对纯中文查询词或者纯英文查询词纠错，但对于用户输入的中英混合进行查询时，目前还支持的不够完善。

发明内容

本发明为解决以上现有技术只支持纯中文查询词或者纯英文查询词纠错的技术缺陷，提供了一种面向搜索引擎的中英混合查询纠错的方法。

为实现以上发明目的，采用的技术方案是：

一种面向搜索引擎的中英混合查询纠错的方法，包括以下步骤：

S1.运用爬虫技术爬取互联网网页内容；

S2.将步骤S1爬取的网页内容和搜索日志作为语料构建出语言模型，以及构建基于拼音的字典树、英文索引表和分词词典；

S3.对于用户输入的查询串，首先运用语言模型对其进行评估，计算其合理性概率，若其合理性概率低于设定的阈值A，或者基于查询串得到的搜索结果的数量少于阈值B，则转入步骤S4的纠错处理；

S4.(1)若查询串中只包含有中文，则执行以下纠错过程：

S101.若输入的查询串为单字，则不执行纠错过程或执行步骤S104，否则执行步骤S102；

S102.将查询串转换成拼音，然后利用编辑距离算法、最大模糊匹配算法在字典树中查找匹配的候 选集合，将匹配的候选集合作为纠错建议；若在字典树中查不到匹配的候选集合，则执行步骤S103；

S103.将查询串进行N元切分，将切分得到的所有子串分别利用编辑距离算法、最大模糊匹配算法在字典树中查找匹配的候选集合；若某一子串查找到匹配的候选集合，则将该子串前面部分的字符串和后面部分的字符串分别作为两个查询串执行步骤S101，进入递归搜索；

S104.递归搜索结束后，得到多个候选集合，此时采用语言模型对各个候选集合进行合理性评分，将评分最高的候选集合作为纠错建议；