[发明专利]文档中的领域词提取方法和装置

权利要求书

1.一种文档中的领域词提取方法，其特征在于，包括：

获取待提取领域词的多个文档；

获取所述多个文档的候选词集合，其中，所述候选词集合中包括所述多个文档中每个文档的文本内容；

根据所述候选词集合与所述多个文档，确定出一个目标列表，其中，所述目标列表中包括多个候选词；

根据所述多个候选词中每一个候选词的目标凝固度和目标自由度，从所述目标列表中确定出所述领域词；

将所述领域词保存到领域词库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述候选词集合与所述多个文档，确定出一个目标列表包括：

将所述多个文档拆分为多个文档集合，其中，每一个文档集合中包括至少一个所述文档；

根据每一个所述文档集合与所述候选词集合，确定出一个候选词列表；

从确定的多个所述候选词列表中确定出目标列表。

3.根据权利要求2所述的方法，其特征在于，所述根据每一个所述文档集合与所述候选词集合，确定出一个候选词列表包括：

计算所述候选词集合中每一个候选词在所述文档集合中的词频-拟文档频率；

按照所述词频-拟文档频率对所述候选词集合中的所述每一个候选词进行排序，得到所述候选词列表。

4.根据权利要求2所述的方法，其特征在于，所述从确定的多个所述候选词列表中确定出目标列表包括：

按照舒尔茨方法从多个所述候选词列表中确定出所述目标列表。

5.根据权利要求1所述的方法，其特征在于，所述根据所述多个候选词中每一个候选词的目标凝固度和目标自由度，从所述目标列表中确定出所述领域词包括：

确定所述每一个候选词的所述目标凝固度和所述目标自由度；

在所述目标凝固度大于第一阈值且所述目标自由度大于第二阈值的情况下，确定所述每一个候选词为所述领域词。

6.根据权利要求5所述的方法，其特征在于，确定所述每一个候选词的所述目标凝固度包括：

将所述候选词拆分为第一词和第二词；

计算所述候选词的第一频率与第二频率，其中，所述第一频率为所述第一词与所述第二词同时出现的频率，所述第二频率为所述第一词与所述第二词组合出现的频率；

将所述第一频率与所述第二频率的比值确定为所述目标凝固度。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述获取所述多个文档的候选词集合包括：

获取所述多个文档中每一个文档的文本内容；

将所述文本内容拼接为文本集合；

删除所述文本集合中的标点符号；

将删除所述标点符号后的所述文本集合中的文本进行分词，得到分词集合；

将所述分词集合中的在所述领域词库中出现的领域词删除，得到所述候选词集合。

8.一种文档中的领域词提取装置，其特征在于，包括：

第一获取单元，用于获取待提取领域词的多个文档；

第二获取单元，用于获取所述多个文档的候选词集合，其中，所述候选词集合中包括所述多个文档中每个文档的文本内容；

第一确定单元，用于根据所述候选词集合与所述多个文档，确定出一个目标列表，其中，所述目标列表中包括多个候选词；

第二确定单元，用于根据所述多个候选词中每一个候选词的目标凝固度和目标自由度，从所述目标列表中确定出所述领域词；

保存单元，用于将所述领域词保存到领域词库中。

9.根据权利要求8所述的装置，其特征在于，所述第一确定单元包括：

拆分模块，用于将所述多个文档拆分为多个文档集合，其中，每一个文档集合中包括至少一个所述文档；

第一确定模块，用于根据每一个所述文档集合与所述候选词集合，确定出一个候选词列表；

第二确定模块，用于从确定的多个所述候选词列表中确定出目标列表。

10.根据权利要求8所述的装置，其特征在于，所述第二确定单元包括：

第三确定模块，用于确定所述每一个候选词的所述目标凝固度和所述目标自由度；

第四确定模块，用于在所述目标凝固度大于第一阈值且所述目标自由度大于第二阈值的情况下，确定所述每一个候选词为所述领域词。