[发明专利]一种基于分类体系的领域词表自动构建的方法及装置

说明书

本发明涉及领域词表自动构建技术领域，特别是指一种基于分类体系的领域词表自动构建的方法及装置，该方法包括：获取数据；确定领域节点的父节点以及每个子节点，获取领域节点对应的多个关联词；确定关联词在领域节点中平均千词中出现的概率及关联词在子节点领域中平均千词中出现的概率；确定关联词在领域节点中每篇文章中出现的平均概率的倒数及在父节点领域中每篇文章中出现的平均概率的倒数；确定每个关联词的第一中间分数以及第二中间分数；根据第一中间分数以及第二中间分数，确定关联词的总分数；获取预设分数阈值，根据所有关联词的总分数大于预设分数阈值的关联词，确定专业词表。采用本发明，可以简单、高效的自动构建专业词表。

技术领域

本发明涉及领域词表自动构建技术领域，特别是指一种基于分类体系的领域词表自动构建的方法及装置。

背景技术

近年来，领域词表是专业教育和职业教育的重要资源，也在产业中广泛应用，如解决分类问题等。当前领域词表的获取方式通常有两种：通过词频统计和专家鉴定的词表生成，或者，通过机器学习方式构建一个分类模型，使用该模型对大量数据进行分类。但这两种方式均具有效率较低的缺点，且运算量较大，准确率也无法保证。

发明内容

本发明实施例提供了一种基于分类体系的领域词表自动构建的方法及装置。所述技术方案如下：

一方面，提供了一种基于分类体系的领域词表自动构建的方法，该方法应用于电子设备，该方法包括：

S1、获取数据，所述数据包括领域层次树状结构的领域节点数据以及每个领域节点对应的多篇文章；

S2、确定所述领域节点的父节点以及每个子节点，获取领域节点对应的多个关联词；

S3、根据所述数据，确定所述领域节点的每个关联词在所述领域节点中平均千词中出现的概率，确定所述每个关联词在每个子节点领域中平均千词中出现的概率；

S4、根据所述数据，确定所述每个关联词在所述领域节点中每篇文章中出现的平均概率的倒数，确定所述每个关联词在父节点领域中每篇文章中出现的平均概率的倒数；

S5、根据每个关联词在所述领域节点中平均千词中出现的概率、以及所述关联词在父节点领域中每篇文章中出现的平均概率的倒数，确定每个关联词的第一中间分数；

S6、根据所述每个关联词在每个子节点领域中平均千词中出现的概率、以及所述关联词在所述领域节点中每篇文章中出现的平均概率的倒数，确定每个关联词的第二中间分数；

S7、根据每个关联词的第一中间分数以及所述第二中间分数，确定所述每个关联词的总分数；

S8、获取预设分数阈值，根据所述领域节点中所有关联词的总分数大于预设分数阈值的关联词，确定专业词表。

可选地，所述根据每个关联词在所述领域节点中平均千词中出现的概率、以及所述关联词在父节点领域中每篇文章中出现的平均概率的倒数，确定每个关联词的第一中间分数，包括：

计算所述每个关联词在所述领域节点中平均千词中出现的概率与所述关联词在父节点领域中每篇文章中出现的平均概率的倒数之间的乘积，将所述乘积确定为每个关联词的第一中间分数。

可选地，所述根据所述每个关联词在每个子节点领域中平均千词中出现的概率、以及所述关联词在所述领域节点中每篇文章中出现的平均概率的倒数，确定每个关联词的第二中间分数，包括：

对于任一关联词，计算根据所述关联词在每个子节点领域中平均千词中出现的概率与所述关联词在所述领域节点中每篇文章中出现的平均概率的倒数，为每个子节点计算对应乘积， 取最大值确定为所述关联词的第二中间分数。

可选地，所述根据每个关联词的第一中间分数以及所述第二中间分数，确定每个关联词的总分数，包括：