[发明专利]一种基于特征扩展的bert电网缺陷文本分类方法

说明书

本发明公开了一种基于特征扩展的bert电网缺陷文本分类方法，属于机器学习的数据处理领域，特别是错误数据识别领域。本发明利用电网的历史缺陷信息，采用k‑means聚类方法对历史缺陷信息做预处理。利用特征扩展的方法对缺陷文本特征进行降维和特征扩展。采用bert的方法在基于特征扩展的基础上对进行缺陷文本分类。改变了原有采用人工对缺陷数据进行分类的方式，具有分类速度快，分类精确的效果。

技术领域

本发明属于机器学习的数据处理领域，特别是错误数据识别领域。

背景技术

随着电网智能化与信息化的建设,电网企业积累了大量的数据,逐渐构成了学术界和工业界共同关注的电力大数据。目前在电力领域中,主要侧重于结构化数据挖掘的研究,也有针对图像识别的研究,但是,电力文本挖掘研究才刚刚起步。在大量的工人记录的缺陷描述中存在很多有价值的东西，然而人工要对这些数据进行整理需要专业人员，而且费时费力。目前有一部分关于电网文本的研究，但在缺陷文本分类中方面还没有相关研究成果。

发明内容

针对背景技术中存在的不足，本发明解决了现有技术中对电力文本信息处理速度慢，缺陷数据不能识别的问题。

本发明技术方案为一种基于特征扩展的bert电网缺陷文本分类方法，该方法包括：

步骤1：数据预处理；

步骤1.1：读取原始csv文件中的数据，并统计原始csv文件中的数据中缺陷类型的数目和对各缺陷类型的描述文字；

步骤1.2：将原始csv文件中所有缺陷数据按照缺陷类型进行分类；

步骤1.3：根据各缺陷类型的描述文字对缺陷类型进行k-means聚类，最终聚为K类；

步骤2：特征提取；

步骤2.1：提取聚类后的每一类缺陷内所有数据的特征，该数据包括缺陷的描述文字和数据本身的文字；

步骤2.2：采用如下公式计算提取出的每个特征的离散度DI_ic(f,C_i)；

其中：n表示C_i类中的数据总数：tf_ij(f)表示特征f在C_i类中第j个数据中出现的次数，表示特征f在C_i类的所有数据中出现次数的平均值，其计算公式如下；

步骤2.3：根据离散度DI_ic(f,C_i)的大小，对每个特征进行排序，设定离散度阈值，将离散度大于阈值的特征合并；

步骤3：对缺陷数据中所有短文本数据进行特征扩展；

从步骤2得到的所有特征中选出与短文本数据的特征最相似的特征，根据该最相似的特征对短文本数据进行扩展；

步骤4：采用bert模型对扩展后的所有缺陷数据进行重新分类，得到分类结果。

进一步的，所述步骤3的具体方法为：

步骤3.1：如果短文本数据的某一特征直接能在步骤2最终得到特征中找到，那么则保留该特征；

步骤3.2：如果某一特征在步骤2最终得到的特征中未找到，则采用如下公式计算短文本数据中的该特征与步骤2最终得到的所有特征的相似度R(f_i,f_j)；