[发明专利]一种基于预训练语言模型的电信工单智能判障方法

权利要求书

1.一种基于预训练语言模型的电信工单智能判障方法，其特征在于，包括如下步骤：

步骤（1）：对已有的历史工单数据进行数据预处理，利用正则表达式进行文本替换、抽取，得到工单信息中的有效数据；

步骤（2）：将清洗过的有效数据进行标签化和数据集划分，按照7:2:1的比例划分为训练集、验证集、测试集，以tsv文件的格式进行存储；

步骤（3）：使用划分好的数据进行模型预训练，文本匹配模型选择对BERT-WWM模型进行fine-tune，文本分类模型则选择预训练DPCNN模型，将对应的模型参数保存；

步骤（4）：对综调系统传输的工单数据，经过解析后，根据定位信息是否一致选择是否需要加载智能判障模型，如果三次定位信息一致，则认为定位准确，执行步骤（7）；如果不一致，则需要执行第五步加载文本匹配模型进行判断；

步骤（5）：加载预训练好的BERT-WWM模型进行文本匹配，将工单故障定位字段和工单操作信息字段输入模型进行匹配判断，如果判断结果为准确，则认为工单定位准确，执行第七步；如果判断结果为不准确，则执行第六步加载文本分类模型预测故障类别；

步骤（6）：加载DPCNN分类模型进行文本分类，对上一步匹配结果为不准确的工单，根据其工单操作信息字段，进行模型运算，预测其应该对应的故障类别，作为最终的工单故障类别输出；

步骤（7）：将上述步骤的判断结果自动导出为Excel文件，供业务人员下载进行最终核对，并将对应的数据添加到历史数据集中，不断迭代优化模型效果。

2.如权利要求1所述的一种基于预训练语言模型的电信工单智能判障方法，其特征在于，所述步骤（1）中预处理方式是通过编写正则表达式对文本进行过滤，识别出指定字段的内容，再对字段内容进行清洗，得到有效数据。

3.如权利要求1所述的一种基于预训练语言模型的电信工单智能判障方法，其特征在于，所述步骤（2）对清洗好的数据，根据工单障碍的类别进行标签化工作，工单障碍类别共有30种，将数据和正确的障碍类别一一对应。

4.如权利要求1所述的一种基于预训练语言模型的电信工单智能判障方法，其特征在于，所述步骤（3）BERT-WWM预训练模型针对中文语料（维基百科、微博、新闻等），采用WholeWord Masking(wwm, 全词Mask）方法，使用中文“词”粒度进行训练；DPCNN模型以TextCNN模型的多核卷积层作为多尺寸卷积滤波器，生成Region Embedding，同时堆叠等长卷积层，经过Pooling /2（1/2池化）将感受视野加倍，将提取的特征经过残差连接（residual-connection），加速信息流动和缓解深层网络的梯度弥散情况；采用Focal Loss代替传统的交叉熵损失函数。

5.如权利要求1所述的一种基于预训练语言模型的电信工单智能判障方法，其特征在于，所述步骤（5）文本匹配过程将“工单故障定位”作为Sentence1，使用“工单操作信息”文本作为Sentence2，以[SEP]分割，送入模型，进行Sentence Pair Classification Task，将模型输出Label作为定位是否准确的判断。