[发明专利]一种词库生成方法及装置

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种词库生成方法及装置。

背景技术

随着计算机技术的不断发展，分词技术已经广泛应用于搜索引擎、机器翻译、语音合成、自动摘要等领域。其中，分词技术是指将一句或者一段中文文字切分成一个一个中文词语的技术，而最常用的分词方法是使用词典进行分词，因此词库质量的好坏直接影响了分词的质量。

目前，词库的生成是由人工进行维护的，当发现一个新词的时候，人工将新词加入词库中；当发现词库中的第一词语不准确时，人工对不准确的第一词语进行修正。

然而，由人工维护词库，会导致维护词库的工作量大、词库准确性降低。

发明内容

为解决上述技术问题，本发明实施例期望提供一种词库生成方法及装置，能够降低维护词库的工作量，提高词库的准确性。

本发明的技术方案是这样实现的：

本发明实施例提供一种词库生成方法，该方法包括：

当预设时间段到达时，获取至少一个待分词文档；

按照第一预设划分策略，将所述至少一个待分词文档划分成至少一个第一字符串集合，其中，一个待分词文档对应一个第一字符串集合；

根据预设内聚模型和预设比较策略，确定与所述至少一个第一字符串集合中每个第一字符串集合对应的第一词语集合，得到至少一个第一词语集合；

根据所述至少一个第一词语集合，确定第一词库。

在上述方法中，根据所述预设内聚模型和所述预设比较策略，确定与一个第一字符串集合对应的所述第一词语集合的方法包括：

根据所述预设内聚模型，计算第一字符串的第一内聚度，所述第一字符串为所述一个第一字符串集合中的任意一个字符串；

根据所述第一内聚度和所述预设比较策略，判断所述第一字符串中是否存在第一词语；

当判断出所述第一字符串中存在所述第一词语时，将所述第一字符串存储至第一词语集合中，直至判断完所述一个第一字符串集合中的所有字符串，得到所述第一词语集合。

在上述方法中，所述计算第一字符串的第一内聚度，包括：

统计所述一个第一字符串集合的第一数量和所述第一字符串在第一待分词文档中出现的第二数量，所述第一待分词文档为所述至少一个待分词文档中所述一个第一字符串集合对应的待分词文档；

按照所述预设内聚模型将所述第一字符串划分成左部分和右部分；

在所述第一待分词文档中分别统计所述左部分的第三数量和所述右部分的第四数量；

根据所述第一数量、所述第二数量、所述第三数量和所述第四数量计算所述第一内聚度。

在上述方法中，所述根据所述第一内聚度和所述预设比较策略，判断所述第一字符串中是否存在第一词语，包括：

获取预设内聚度阈值；

将所述第一内聚度与所述预设内聚度阈值进行比较；

当所述第一内聚度大于所述预设内聚度阈值时，判断所述第一字符串中存在所述第一词语；

当所述第一内聚度小于所述预设内聚度阈值时，判断所述第一字符串中不存在所述第一词语。

在上述方法中，所述获取预设内聚度阈值，包括：

选取N个无歧义基本词；

在所述至少一个待分词文档中计算所述N个无歧义基本词分别对应的第三内聚度集合；

将所述第三内聚度集合划分成至少一个区域，在所述至少一个区域中确定第四数量最多的第一区域，所述第四数量为所述第三内聚度集合中所述第一区域内的第三内聚度的个数；

根据所述第四数量和所述第三内聚度计算所述第一区域中的内聚度平均值，并将所述内聚度平均值确定为所述预设内聚度阈值。

在上述方法中，所述根据所述至少一个第一词语集合，确定第一词库，包括：

根据所述至少一个第一词语集合确定第一词语库；

判断是否存在第二词库，所述第二词库为已经存在的词库；

当存在所述第二词库时，将所述第一词语库中的第二词语与所述第二词库的第三词语进行匹配；

当所述第二词语与所述第三词语匹配失败时，将所述第二词语添加至所述第二词库中；

当不存在所述第二词库时，将所述第一词语库确定为所述第一词库。

本发明实施例提供一种词库生成装置，所述装置包括：

获取单元，用于当预设时间段到达时，获取至少一个待分词文档；

划分单元，用于按照第一预设划分策略，将所述至少一个待分词文档划分成至少一个第一字符串集合，其中，一个待分词文档对应一个第一字符串集合；