[发明专利]搜索引擎的中文搜索词自动纠错方法

摘要

本发明涉及搜索引擎的中文搜索词自动纠错方法，属于计算机应用技术领域。本发明包括数据模块、离线建库端及在线检索端，数据模块的主要作用是为后面的离线建库端和在线检索端提供数据。本发明使用搜索日志，爬虫系统等模块挖掘丰富的离线数据，用于多种纠错策略使用。针对不同的领域，使用专有领域词典用于系统纠错。本发明使用多种独立纠错策略相结合的方式，面对复杂的query错误，多种策略相互补充相互比较，最终取得较好的结果。加上二次纠错的使用，使得纠错范围更加广泛，成功率更高。本发明纠错策略可灵活独立配置，纠错场景更加广泛，能更好适应各种不同的垂直搜索领域。

主权项

搜索引擎的中文搜索词自动纠错方法，其特征在于：包括数据模块、离线建库端及在线检索端，数据模块为后面的离线建库端和在线检索端提供数据；数据模块对搜索log定期进行抽取和统计，给出query频次信息，并对query尝试分词，统计每个词的df和idf信息，对数据库信息整理，通过爬虫系统爬取优质网站的词条、标签，整理已有nlp数据相关的优质词典；query纠错离线数据的来源主要有4个部分：搜索日志、数据库数据、爬虫系统和语料库；对于这四种数据来源，有不同的离线数据生成过程，每个数据来源通过不同方式的处理，最终得到query纠错需要使用的各种离线数据；搜索日志首先从搜索日志中，通过文本匹配找到搜索的查询query，然后对query的频率信息进行统计，最终得到日志挖掘数据，通常是一个文本文件，每行的数据是：query空格频率；数据库数据：从数据库中读取要搜索的物品的各种字段信息；将各个字段的文本当做query，和搜索日志统计类似，统计各个字段文本的频率，分词后的词频信息作为数据库挖掘数据；爬虫系统：爬虫系统通过爬取百科网站的网页，经过网页内容抽取，得到百科词条，作为百科字典；除此之外，还可以爬取特定领域的网页，可以制作电商领域专业字典，类似的可以爬取文学网站，抽取网页中小说名称，得到文学领域专业字典；语料库：根据现有的语料库，统计语料库中所有词的tf，df，idf信息，得到语料库挖掘数据。