[发明专利]一种基于预训练语言模型的电信工单智能判障方法

说明书

本发明公开了一种新的基于预训练语言模型的电信工单智能判障方法，属于计算机技术领域。其中，包括如下步骤：首先先对工单信息进行预处理，从描述信息中提取出告警信息和关键描述文本，以及系统中的定位信息；使用基于预训练语言模型BERT进行文本匹配，判断工单定位与工单描述是否对应；根据文本匹配模型的结果再进行文本分类任务，使用DPCNN模型预测出定位不准确的工单可能对应的故障类别，从而实现工单的自动智能判障。本发明能够有效地解决电信业务中传统人工判障方法存在的效率和精度问题，使用深度学习方法不仅能够大大减少业务人员工作量，实现自动化解析判断，同时判断精度也非常准确，整体准确率能够达到95%以上。

技术领域

本发明属于计算机技术领域，具体地涉及一种基于预训练语言模型的电信工单智能判障方法。

背景技术

为了减轻一线维护人员的工作负荷，电信公司自2015年左右开展了障碍工单自动定位工作，简单实现了对障碍原因的初步判断。在这个过程中，自动判断障碍原因是否是实际的故障原因，同步进行了人工核查和判断，发现部分工单的实际处理故障过程与初步定位内容不一致，需要对这部分定位不准确的工单进行后续原因核查，并且实现迭代优化。这个定位错误工单的发现过程一直严重依赖于人工核查，需要业务人员从工单的回单反馈、回单原因、告警等大量数据信息中找到定位是否准确的依据，耗时冗长，极大地影响了维护工作效率。因此，如何应用海量的历史数据，从历史数据中学习相关内容，实现自动判断当前工单定位的准确性，成为一个迫在眉睫的问题。

工单判障的任务可以抽象为自然语言处理中的文本分类任务，可以使用相关算法实现自动判障代替人工操作。文本分类是指对给定的文本数据，根据相应的分类算法或模型，得到文本对应的类别，用于相关判断。传统的基于机器学习或者循环神经网络的文本分类算法在速度和精度上都存在一定问题，需要研究选择一种更加准确有效的分类算法用于实现智能判障。

发明内容

发明目的：本发明针对电信业务系统中的工单判障任务，在传统方法的基础上提出了一种基于预训练语言模型的电信工单智能判障方法。实现对系统中工单进行自动判障，结合多种指标判断工单所属类别是否正确。对系统中的工单数据进行自动预处理，加载预训练语言模型BERT进行文本匹配，根据匹配结果再选择加载文本分类模型，预测出工单对应的正确类别，从而实现自动智能判障。

技术方案：为实现上述发明目的，本发明的一种基于预训练语言模型的电信工单智能判障方法，采用的技术方案包括如下步骤：

步骤(1)：对已有的历史工单数据进行数据预处理，利用正则表达式进行文本替换、抽取，得到工单信息中的有效数据；

步骤(2)：将清洗过的有效数据进行标签化和数据集划分，按照7:2:1的比例划分为训练集、验证集、测试集，以tsv文件的格式进行存储；

步骤(3)：使用划分好的数据进行模型预训练，文本匹配模型选择对BERT-WWM模型进行fine-tune，文本分类模型则选择预训练DPCNN模型，将对应的模型参数保存；

步骤(4)：对综调系统传输的工单数据，经过解析后，根据定位信息是否一致选择是否需要加载智能判障模型，如果三次定位信息一致，则认为定位准确，执行步骤(7)；如果不一致，则需要执行第五步加载文本匹配模型进行判断；

步骤(5)：加载预训练好的BERT-WWM模型进行文本匹配，将工单故障定位字段和工单操作信息字段输入模型进行匹配判断，如果判断结果为准确，则认为工单定位准确，执行第七步；如果判断结果为不准确，则执行第六步加载文本分类模型预测故障类别；

步骤(6)：加载DPCNN分类模型进行文本分类，对上一步匹配结果为不准确的工单，根据其工单操作信息字段，进行模型运算，预测其应该对应的故障类别，作为最终的工单故障类别输出；