[发明专利]一种基于特征扩展的bert电网缺陷文本分类方法

权利要求书

1.一种基于特征扩展的bert电网缺陷文本分类方法，该方法包括：

步骤1：数据预处理；

步骤1.1：读取原始csv文件中的数据，并统计原始csv文件中的数据中缺陷类型的数目和对各缺陷类型的描述文字；

步骤1.2：将原始csv文件中所有缺陷数据按照缺陷类型进行分类；

步骤1.3：根据各缺陷类型的描述文字对缺陷类型进行k-means聚类，最终聚为K类；

步骤2：特征提取；

步骤2.1：提取聚类后的每一类缺陷内所有数据的特征，该数据包括缺陷的描述文字和数据本身的文字；

步骤2.2：采用如下公式计算提取出的每个特征的离散度DI_ic(f，C_i)；

其中：n表示C_i类中的数据总数：tf_ij(f)表示特征f在C_i类中第j个数据中出现的次数，表示特征f在C_i类的所有数据中出现次数的平均值，其计算公式如下；

步骤2.3：根据离散度DI_ic(f，C_i)的大小，对每个特征进行排序，设定离散度阈值，将离散度大于阈值的特征合并；

步骤3：对缺陷数据中所有短文本数据进行特征扩展；

从步骤2得到的所有特征中选出与短文本数据的特征最相似的特征，根据该最相似的特征对短文本数据进行扩展；

步骤4：采用bert模型对扩展后的所有缺陷数据进行重新分类，得到分类结果。

2.如权利要求1所述的一种基于特征扩展的bert电网缺陷文本分类方法，其特征在于所述步骤3的具体方法为：

步骤3.1：如果短文本数据的某一特征直接能在步骤2最终得到特征中找到，那么则保留该特征；

步骤3.2：如果某一特征在步骤2最终得到的特征中未找到，则采用如下公式计算短文本数据中的该特征与步骤2最终得到的所有特征的相似度R(f_i，f_j)；

其中：特征f_i为短文本数据中的特征，特征f_j为步骤2得到的特征，P(f_i，f_j)表示在数据集中特征f_i和特征f_j同时出现的概率；P(f_i)表示特征f_i在所有数据中出现的概率，P(f_j)表示特征f_j在所有数据中出现的概率；

步骤3.3：在步骤2最终得到的所有特征中找到相似度最大的特征，采用该特征替换短文本数据中的特征。