[发明专利]基于双注意力神经网络的内容识别方法及装置

说明书

本申请提供了一种基于双注意力神经网络的内容识别方法及装置，该基于双注意力神经网络的内容识别方法包括：获取通信运营商语料库，利用自动类别标签描述生成方式为每个类别标签生成对应的类别标签描述，计算通信运营商语料库中文本单词与类别标签之间的对应关系，得到标签表示矩阵；使用文本编码器对通信运营商的工单信息进行预处理，得到预处理文本表示；将预处理文本表示输入到自注意力机制网络，得到自注意力文本表示；将预处理文本表示输入到标签注意力神经网络，得到标签注意力文本表示；使用自适应门控制机制对自注意力文本表示和标签注意力文本表示处理，构建标签指导文本表示；将标签指导文本表示输入分类器，得到分类结果。

技术领域

本申请涉及人工智能技术领域，具体涉及一种基于双注意力神经网络的内容识别方法及装置。

背景技术

在运营商客服作业流程中，产生了大量的客户反馈意见，每天需要花费大量的人力物力进行反馈意见的评定审查，对客户的投诉和要求进行传统的人工分类，并根据分类结果进行派单，这些工作占据了大量的人力和时间，并且人工的分类会出现分类效率低、准确率不高等问题。传统的文本分类方法基于人工提取有效特征，这些特征可用于有监督的学习方法或半监督的方法，如基于图的半监督算法。

但是，这些方法依赖于人工提取有效特征，在面对复杂的业务场景及不断增加的工单类型时，将会耗费大量的时间与精力，已经无法满足工单智能分类的需求。因此，需要使用深度学习对工单分类进行优化处理。一方面，通过获取历史工单处理情况训练神经网络模型，对实时工单做分类处理并预测对应接单班组，有助于提升工单流转效率，降低工单处理时长。另一方面，深度学习模型能够通过学习新的信息不断提升预测准确率，有助于降低运营成本、改善用户体验、提升企业竞争力。

基于深度学习的方法主要采用词嵌入表示技术表示文本词语，利用深层神经网络从低层的文本表示中学习抽象文本语义特征，如将卷积神经网络(Convolutional NeuralNetwork,CNN)和循环神经网络(Recurrent Neural Network,RNN)应用于学习文档表示。相比传统方法，基于深度学习的方法不需要人工提取特征即可取得显著的分类效果。

但上述的基于深度学习的方法没有考虑到类别标签对文本的影响，所以又有人提出了如EXAM、LSAN等考虑类别标签与文本词汇关系的分类方法，上述两种方法都依赖于数据集带有类别标签文本信息描述类别标签，然而，在一些应用场景中，无法获得相应的类别标签表述信息，只含有简单的类别标签，类别标签本身不具有情感语义信息，而且数据集没有关于类别标签的描述信息，从而无法应用相关方法。

也即，现有技术中内容识别方法准确度比较低。

发明内容

本申请旨在提供一种基于双注意力神经网络的内容识别方法及装置，旨在解决现有技术中内容识别方法准确度比较低的问题。

一方面，本申请提供一种基于双注意力神经网络的内容识别方法，所述基于双注意力神经网络的内容识别方法包括：

获取通信运营商语料库，利用自动类别标签描述生成方式为每个类别标签生成对应的类别标签描述，计算通信运营商语料库中文本单词与类别标签之间的对应关系，得到标签表示矩阵；

使用文本编码器对通信运营商的工单信息进行预处理，得到预处理文本表示；

将预处理文本表示输入到自注意力机制网络，得到自注意力文本表示；

将预处理文本表示输入到标签注意力神经网络，得到标签注意力文本表示；

使用自适应门控制机制对自注意力文本表示和标签注意力文本表示处理，构建标签指导文本表示；

将标签指导文本表示输入分类器，得到分类结果。

可选地，所述工单信息包括产品类型、服务类型以及服务内容，所述使用文本编码器对通信运营商的工单信息进行预处理，得到预处理文本表示，包括：