[发明专利]基于弱监督学习的电力行业专有词挖掘方法、装置及介质

权利要求书

1.一种基于弱监督学习的电力行业专有词挖掘方法，其特征在于，包括：

获取电力文本语料，并对所述电力文本语料进行预处理；

采用分词器对预处理后的电力文本语料进行分词，将预处理后的电力文本语料转化为若干字符串片段；

根据预设的停用词表对所述若干字符串片段进行切分，得到若干候选词汇，将所述若干候选词汇放入正样本集合，并去除所述若干字符串片段中的停用词；

对去除停用词的若干字符串片段进行N-gram滑窗处理构建N-gram词组，将出现频次高于第一阈值的N-gram词组标记为候选词汇，并将该候选词汇放入正样本集合，将出现频次低于第一阈值的N-gram词组放入负样本集合；

分别计算正样本集合中每个候选词汇的特征，得到每个候选词汇的特征信息；

引入外部知识对正样本集合进行更新扩展，并对负样本集合进行调整；

根据正样本集合、负样本集合和所述特征信息对分类器进行自监督的学习训练，得到目标词汇及所述目标词汇的概率；

根据统计数据规则过滤掉所述目标词汇中的不可信词汇，得到最终的电力行业专有词汇。

2.如权利要求1所述的基于弱监督学习的电力行业专有词挖掘方法，其特征在于，所述获取电力文本语料，并对所述电力文本语料进行预处理，具体包括：

获取电力文本语料；

对所述电力文本语料进行数据清洗，去除所述电力文本语料中的个人信息、敏感信息以及机密信息；

对所述电力文本语料进行归一化处理，将所述电力文本语料中的数字作统一标识。

3.如权利要求1所述的基于弱监督学习的电力行业专有词挖掘方法，其特征在于，所述根据预设的停用词表对所述若干字符串片段进行切分，得到若干候选词汇，将所述若干候选词汇放入正样本集合，并去除所述若干字符串片段中的停用词，具体包括：

根据预设的停用词表构建停用词附近的N-gram词组；

将出现频次高于第二阈值的N-gram词组标记为候选词汇，得到若干候选词汇，并将所述若干候选词汇放入正样本集合；

将出现频次低于第二阈值的N-gram词组标记为停用词并进行去除。

4.如权利要求1所述的基于弱监督学习的电力行业专有词挖掘方法，其特征在于，所述引入外部知识对正样本集合进行更新扩展，并对负样本集合进行调整，具体包括：

引入外部知识构建高质量的参考词汇库；

遍历负样本集合中的N-gram词组，将出现在所述参考词汇库中的负样本从负样本集合转移到正样本集合，以对正样本集合进行更新扩展，对负样本集合进行调整。

5.如权利要求1所述的基于弱监督学习的电力行业专有词挖掘方法，其特征在于，所述根据正样本集合、负样本集合和所述特征信息对分类器进行自监督的学习训练，得到目标词汇及所述目标词汇的概率，具体包括：

根据正样本集合、负样本集合和所述特征信息对分类器进行自监督学习迭代训练，得到训练好的分类器；

利用训练好的分类器对所述正样本集合进行候选词汇的预测，得到候选词汇及所述候选词汇属于目标词汇的概率；

通过分类器判断所述候选词汇属于目标词汇的概率是否大于第三阈值，重新调整正样本集合和负样本集合；

根据预设的迭代次数判断迭代是否结束；

若是，则得到目标词汇及所述目标词汇的概率；

若否，则更新重置正样本和负样本，返回步骤根据正样本集合、负样本集合和所述特征信息对分类器进行自监督学习迭代训练，得到训练好的分类器。

6.如权利要求5所述的基于弱监督学习的电力行业专有词挖掘方法，其特征在于，所述通过分类器判断所述候选词汇属于目标词汇的概率是否大于第三阈值，重新调整正样本集合和负样本集合，具体包括：

通过分类器判断所述候选词汇属于目标词汇的概率是否大于第三阈值；

若是，则将该候选词汇放入正样本集合，以对正样本集合进行更新；

若否，则将该候选词汇放入负样本集合，以对负样本集合进行更新。