[发明专利]一种词库生成方法及装置

权利要求书

1.一种词库生成方法，其特征在于，包括：

当预设时间段到达时，获取至少一个待分词文档；

按照第一预设划分策略，将所述至少一个待分词文档划分成至少一个第一字符串集合，其中，一个待分词文档对应一个第一字符串集合；

根据预设内聚模型和预设比较策略，确定与所述至少一个第一字符串集合中每个第一字符串集合对应的第一词语集合，得到至少一个第一词语集合；

根据所述至少一个第一词语集合，确定第一词库。

2.根据权利要求1所述的方法，其特征在于，根据所述预设内聚模型和所述预设比较策略，确定与一个第一字符串集合对应的所述第一词语集合的方法包括：

根据所述预设内聚模型，计算第一字符串的第一内聚度，所述第一字符串为所述一个第一字符串集合中的任意一个字符串；

根据所述第一内聚度和所述预设比较策略，判断所述第一字符串中是否存在第一词语；

当判断出所述第一字符串中存在所述第一词语时，将所述第一字符串存储至第一词语集合中，直至判断完所述一个第一字符串集合中的所有字符串，得到所述第一词语集合。

3.根据权利要求2所述的方法，其特征在于，所述计算第一字符串的第一内聚度，包括：

统计所述一个第一字符串集合的第一数量和所述第一字符串在第一待分词文档中出现的第二数量，所述第一待分词文档为所述至少一个待分词文档中所述一个第一字符串集合对应的待分词文档；

按照所述预设内聚模型将所述第一字符串划分成左部分和右部分；

在所述第一待分词文档中分别统计所述左部分的第三数量和所述右部分的第四数量；

根据所述第一数量、所述第二数量、所述第三数量和所述第四数量计算所述第一内聚度。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一内聚度和所述预设比较策略，判断所述第一字符串中是否存在第一词语，包括：

获取预设内聚度阈值；

将所述第一内聚度与所述预设内聚度阈值进行比较；

当所述第一内聚度大于所述预设内聚度阈值时，判断所述第一字符串中存在所述第一词语；

当所述第一内聚度小于所述预设内聚度阈值时，判断所述第一字符串中不存在所述第一词语。

5.根据权利要求4所述的方法，其特征在于，所述获取预设内聚度阈值，包括：

选取N个无歧义基本词；

在所述至少一个待分词文档中计算所述N个无歧义基本词分别对应的第三内聚度集合；

将所述第三内聚度集合划分成至少一个区域，在所述至少一个区域中确定第四数量最多的第一区域，所述第四数量为所述第三内聚度集合中所述第一区域内的第三内聚度的个数；

根据所述第四数量和所述第三内聚度计算所述第一区域中的内聚度平均值，并将所述内聚度平均值确定为所述预设内聚度阈值。

6.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一词语集合，确定第一词库，包括：

根据所述至少一个第一词语集合确定第一词语库；

判断是否存在第二词库，所述第二词库为已经存在的词库；

当存在所述第二词库时，将所述第一词语库中的第二词语与所述第二词库的第三词语进行匹配；

当所述第二词语与所述第三词语匹配失败时，将所述第二词语添加至所述第二词库中；

当不存在所述第二词库时，将所述第一词语库确定为所述第一词库。

7.一种词库生成装置，其特征在于，所述装置包括：

获取单元，用于当预设时间段到达时，获取至少一个待分词文档；

划分单元，用于按照第一预设划分策略，将所述至少一个待分词文档划分成至少一个第一字符串集合，其中，一个待分词文档对应一个第一字符串集合；

确定单元，用于根据预设内聚模型和预设比较策略，确定与所述至少一个第一字符串集合中每个第一字符串集合对应的第一词语集合，得到至少一个第一词语集合；根据所述至少一个第一词语集合，确定第一词库。