[发明专利]基于双注意力神经网络的内容识别方法及装置

权利要求书

1.一种基于双注意力神经网络的内容识别方法，其特征在于，所述基于双注意力神经网络的内容识别方法包括：

获取通信运营商语料库，利用自动类别标签描述生成方式为每个类别标签生成对应的类别标签描述，计算通信运营商语料库中文本单词与类别标签之间的对应关系，得到标签表示矩阵；

使用文本编码器对通信运营商的工单信息进行预处理，得到预处理文本表示；

将预处理文本表示输入到自注意力机制网络，得到自注意力文本表示；

将预处理文本表示输入到标签注意力神经网络，得到标签注意力文本表示；

使用自适应门控制机制对自注意力文本表示和标签注意力文本表示处理，构建标签指导文本表示；

将标签指导文本表示输入分类器，得到分类结果。

2.根据权利要求1所述的基于双注意力神经网络的内容识别方法，其特征在于，所述工单信息包括产品类型、服务类型以及服务内容，所述使用文本编码器对通信运营商的工单信息进行预处理，得到预处理文本表示，包括：

使用下划线符号替换产品类型和服务类型中的正斜杠符号，使用连字符拼接产品类型和服务类型，生成工单类型；

对服务内容进行文本预处理，过滤服务内容文本长度大于16或大于800的数据样本，将所有的字母转换为小写，将并使用Stanford CoreNLP对文本进行分词，得到文本单词；

使用BiGRU作为文本编码器，将服务内容序列输入到文本编码器中，使用词向量矩阵把每个文本单词嵌入为词向量；将每个词向量输入到第1个BiGRU，其中，BiGRU由一个正向GRU和一个反向GRU组成；将正向GRU和后向GRU的隐藏状态拼接起来，得到整个服务内容文本的浅层隐藏状态；再将浅层隐藏状态输入到第2个BiGRU中，得到服务内容之间的交互作用信息，使用残差连接融合浅层隐藏状态和服务内容之间的交互作用信息，得到文本编码器输出的预处理文本表示。

3.根据权利要求2所述的基于双注意力神经网络的内容识别方法，其特征在于，所述获取通信运营商语料库，利用自动类别标签描述生成方式为每个类别标签生成对应的类别标签描述，计算通信运营商语料库中文本单词与类别标签之间的对应关系，得到标签表示矩阵，包括：

计算文本单词在服务内容文本中的TF-IDF值；

根据TF-IDF值计算文本单词与类别标签的相关性得分；

计算文本单词出现在相应服务内容文本中的不同类别标签的数量，根据文本单词与类别标签的相关性得分和文本单词出现在相应服务内容文本中的不同类别标签的数量确定文本单词相对于类别标签的基于逆类别标签频次的相关性分数；

对每个类别标签选出相关性分数最高的多个文本单词作为类别标签的描述；

使用词向量矩阵把每个描述类别标签的文本单词嵌入为词向量，通过词向量得到标签表示矩阵。

4.根据权利要求3所述的基于双注意力神经网络的内容识别方法，其特征在于，

所述将预处理文本表示输入到自注意力机制网络，得到自注意力文本表示，包括：

采用自注意力机制计算预处理文本表示的label-word注意力分数；

利用label-word注意力分数得到由自注意力机制网络计算的自注意力文本表示；

所述将预处理文本表示输入到标签注意力神经网络，得到标签注意力文本表示，包括：

将标签表示矩阵映射到与预处理文本表示相同的向量空间；

利用点积计算文本单词和标签表示矩阵之间的文本单词标签语义关系；

根据文本单词标签语义关系和文本单词确定类别标签指导的特定于类别标签的标签注意力文本表示。

5.根据权利要求4所述的基于双注意力神经网络的内容识别方法，其特征在于，所述使用自适应门控制机制对自注意力文本表示和标签注意力文本表示处理，构建标签指导文本表示，包括：

利用2个权重向量对自注意力文本表示和标签注意力文本表示加权，得出标签指导文本表示。