[发明专利]一种分词词库更新方法及系统

说明书

本发明提供了一种分词词库更新系统，包括：日志采集模块、日志分析模块、分词评价模块以及分词校正与过滤模块，其中该分词校正和过滤模块包括构造子模块、切分子模块以及过滤子模块。本发明还提供了对应的方法。实施本发明的分词词库更新系统及方法，基于分词业务日志分析，通过对分词业务系统的分词效果进行评价，提取出分词效果不好的分词输入，根据使用参考概率表的Z分词过滤算法对分词效果不好的分词输入进行分词校正和过滤输出新词词组，并将该新词词组更新到分词词库中，不断完善分词词库，解决了分词词库不能适时且适应实际分词应用环境的问题，有效提高分词效果。

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种分词词库更新方法及系统。

背景技术

在搜索系统中，分词效果的好坏是影响搜索效果的关键因素。而分词过程所依赖的词库，是分词技术的重要组成部分。

目前常见的词库生成方法是采用统计的方法：对输入语料中相邻共现的各个字的组合(即字组)的频度进行统计，计算其互现信息，其中，该互现信息体现了汉字之间结合关系的紧密程度，当紧密程度高于某一个阈值时，则可认为此字组可能构成了一个词。通过上述方法生成词库，再将词库应用与线上分词业务。

然而采用上述词频统计的方法生成的中文词库，存在的技术问题主要有：经常切分出一些共现频度高但并不是词的常用字组；大部分词库都是属于通用词库，不适合某些垂直搜索场景，比如商品名称搜索、地名搜索、人名搜索等；词库往往是静态的，线下生成再线上使用，不能快速根据实际使用情况进行更新和完善；词库对于新词的识别效果较差。

发明内容

本发明要解决的技术问题在于，针对现有的词频统计方法生成中文词库的上述缺陷，提供一种分词词库更新方法及系统。

本发明解决上述问题的技术方案是提供了一种分词词库更新系统，包括：

日志采集模块，用于采集分词业务系统在运行过程中输出的分词业务日志；

日志分析模块，用于对所述日志采集模块采集到的所述分词业务日志进行统计分析，并提取相关有效数据；

分词评价模块，用于根据评价规则对所述相关有效数据进行评价得到分词效果不好的分词输入；以及

分词校正与过滤模块，用于对所述分词评价模块所得到的所述分词效果不好的分词输入进行分词校正和过滤输出新词词组，并将该新词词组更新到分词词库中。

在上述分词词库更新系统中，所述分词业务系统包括搜索系统，所述相关有效数据包括搜索结果的订购次数或者浏览次数和/或搜索关键词的转换率和/或搜索结果的首页命中比例和/或搜索关键词的召回率和/或分词输入的分词结果；所述评价规则包括搜索关键词的转换率小于第一预设阈值和/或搜索结果个数小于第二预设阈值和/或使用量小于预设阈值和/或分词输入的分词结果大于第三预设阈值。

在上述分词词库更新系统中，所述分词校正与过滤模块包括构造子模块和切分子模块，其中：

所述构造子模块，用于扫描语料数据，并计算每个单词到下一个单词的概率来构造一参考概率表；

所述切分子模块，用于对所述分词效果不好的分词输入进行全切分得到基础分词词组。

在上述分词词库更新系统中，所述分词校正与过滤模块还包括过滤子模块，所述过滤子模块用于根据使用所述参考概率表的Z分词过滤算法对所述切分子模块全切分后得到的所述基础分词词组进行过滤得到所述新词词组，并将所述新词词组更新到分词词库中。

在上述分词词库更新系统中，所述过滤子模块包括：

扫描单元，用于扫描该基础分词词组并获取该基础分词词组中基础分词共有但未包含在该基础分词词组中的前向词列表；