[发明专利]基于弱监督学习的电力行业专有词挖掘方法、装置及介质

说明书

本发明公开了一种基于弱监督学习的电力行业专有词挖掘方法、装置及介质，所述方法包括：获取电力文本语料并进行分词，得到若干字符串片段；根据预设的停用词表对若干字符串片段进行切分，得到候选词汇的正样本集合，并去除停用词；对去除停用词的若干字符串片段构建N‑gram词组，得到候选词汇的正、负样本集合；引入外部知识对正、负样本集合进行调整；根据正、负样本集合和特征信息对分类器进行自监督的学习训练，得到目标词汇及所述目标词汇的概率；根据统计数据规则过滤掉所述目标词汇中的不可信词汇，得到最终的电力行业专有词汇。本发明采用弱监督学习方法能够实现对电力行业专有词汇进行高效、精准地挖掘，且不需要人工干预，提高了自动化程度。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于弱监督学习的电力行业专有词挖掘方法、装置及介质。

背景技术

随着我国人工智能产业的发展，人工智能技术作为新的动力不断赋能各个行业。能源和电力行业的不断发展，同时也给该技术的应用带来新的契机和场景。伴随着电力行业客户的不断增多和渴望得到多元化的服务体验，对客服的要求越来越高，然而现有的智能客服仍然不能满足广大客户的需求，还是需要大量人工客服来进行服务。

键盘输入法作为人机交互的重要手段之一，有着不可替代的作用。但是针对电力应用特殊场景，通用的键盘输入法存在识别准确率低的问题，导致客服人员的输入效率偏低，因此，非常有必要提高客服人员的输入效率，减少客户等待时间，提升服务效率。词库作为提升输入法体验的最重要的来源，同时，也是提升电力文本语义理解的基础，对电力行业知识图谱、智能客服都有着不可替代的促进作用，因此，构建电力行业的专有词汇变得十分重要。

现有的电力科技论文、项目报告、电力规程、操作手册等，为提取构建电力行业的专有词典奠定了基础。然而，现有的新词发现算法需要人工参与的程度较大，主要有基于分词的算法和基于信息熵的方法，前者主要依赖分词算法且分词粒度对结果的影响很大，存在识别精度不高的问题；后者存在资源占用率高、速度慢等问题。并且这两种方法都存在大量参数需要人工给定，参数的选取不同造成语料的值变化较大，存在普适性不强的缺点。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于弱监督学习的电力行业专有词挖掘方法、装置及介质，通过弱监督学习方法能够实现对电力行业专有词汇进行高效、精准地挖掘，且不需要人工干预，提高了自动化程度。

为了实现上述目的，本发明实施例提供了一种基于弱监督学习的电力行业专有词挖掘方法，包括：

获取电力文本语料，并对所述电力文本语料进行预处理；

采用分词器对预处理后的电力文本语料进行分词，将预处理后的电力文本语料转化为若干字符串片段；

根据预设的停用词表对所述若干字符串片段进行切分，得到若干候选词汇，将所述若干候选词汇放入正样本集合，并去除所述若干字符串片段中的停用词；

对去除停用词的若干字符串片段进行N-gram滑窗处理构建N-gram词组，将出现频次高于第一阈值的N-gram词组标记为候选词汇，并将该候选词汇放入正样本集合，将出现频次低于第一阈值的N-gram词组放入负样本集合；

分别计算正样本集合中每个候选词汇的特征，得到每个候选词汇的特征信息；

引入外部知识对正样本集合进行更新扩展，并对负样本集合进行调整；

根据正样本集合、负样本集合和所述特征信息对分类器进行自监督的学习训练，得到目标词汇及所述目标词汇的概率；

根据统计数据规则过滤掉所述目标词汇中的不可信词汇，得到最终的电力行业专有词汇。

作为上述方案的改进，所述获取电力文本语料，并对所述电力文本语料进行预处理，具体包括：

获取电力文本语料；