[发明专利]分词词典的生成方法和装置及分词处理方法和装置

摘要

本发明提出一种分词词典的生成方法和装置及分词处理方法和装置，该分词词典的生成方法包括获取原始句语料；对所述原始句语料进行切分，得到分词，并对所述分词进行过滤，得到过滤结果，所述过滤包括如下项中的至少一项基于词频和逆频率的过滤，基于边界的过滤，基于拼接的过滤；根据所述过滤结果生成分词词典。该方法能够不依赖人工筛选和分词器，可以识别未登录的词条，从而提高分词词典的生成速度和效果。

主权项

一种分词词典的生成方法，其特征在于，包括：获取原始句语料；对所述原始句语料进行切分，得到分词，并对所述分词进行过滤，得到过滤结果，所述过滤包括如下项中的至少一项：基于词频和逆频率的过滤，基于边界的过滤，基于拼接的过滤；根据所述过滤结果生成分词词典；所述对所述分词进行过滤，得到过滤结果，包括：对所述分词进行基于词频和逆频率的过滤，得到第一次过滤结果；根据所述第一次过滤结果，进行基于边界的过滤，得到第二次过滤结果；根据所述第一次过滤结果和所述第二次过滤结果，进行拼接过滤，得到所述过滤结果；所述对所述分词进行基于词频和逆频率的过滤，得到第一次过滤结果，包括：统计每个分词的词频和逆频率；根据所述词频和逆频率计算每个分词的权重，并根据所述权重对分词进行排序；在排序后的分词中，选择预设个数的权重较大，且词频大于第一预设值以及逆频率大于第二预设值的分词，得到选择后的分词；在所述选择后的分词中获取第一长度的分词，以及包含第一长度的分词的第二长度的分词，并计算所述第二长度的分词的词频与所述第一长度的分词的词频之间的比值，其中，所述第二长度和所述第一长度是相邻的两个长度，且所述第二长度大于所述第一长度；如果所述比值大于或等于预设阈值，则将所述第一长度的分词确定为第一次过滤结果的删除词条，将所述第二长度的分词确定为第一次过滤结果的保留词条；或者，如果所述比值小于预设阈值，则将所述第一长度的分词确定为第一次过滤结果的保留词条；将所述第一次过滤结果的删除词条和所述第一次过滤结果的保留词条，组成第一次过滤结果。