[发明专利]基于树形循环神经网络的自动树库转化方法及系统

摘要

本发明涉及一种基于树形循环神经网络的自动树库转化方法及系统，为了获得精准的有监督转化模型而设计。本发明基于树形循环神经网络的自动树库转化方法，包括：基于双向树形循环神经网络TreeLSTM，得到词wi、词wi、词wa的隐藏层输出向量将隐藏层输出向量拼接起来，作为词wi和词wj在源端树中的表示向量循环神经网络BiSeqLSTM顶层输出的输出向量分别与表示向量拼接起来，作为感知器MLP的输入，感知器萃取出句法相关信息；利用双仿射计算词wi和词wj的目标端依存弧分值。本发明充分利用源端句法树，刻画两种标注规范的对应规律为建立高质量树有监督转化模型提供了必要的数据支持。

主权项

1.一种基于树形循环神经网络的自动树库转化方法，其特征在于，包括：获取双树对齐数据库，所述双树对齐数据库内存储有采用两种标注规范进行标注的句子；分别计算各所述句子中每两个词在目标端树中的依存弧分值，其中，所述的两个词分别以词wi和词wj表示，预设词wi和词wj在目标端树中分别为修饰词和核心词，词wi和词wj在目标端树中的依存弧分值计算过程包括：在源端树中提取词w_i、词w_j的最短路径树，基于双向树形循环神经网络TreeLSTM，得到该最短路径树中词w_i、词w_j、词w_a各自对应的隐藏层输出向量其中，在源端树d^src中，词w_a为词w_i和词w_j的最近公共祖先节点；将词w_i、词w_j、词w_a的隐藏层输出向量拼接起来，作为词w_i和词w_j在源端树中的表示向量即基于循环神经网络BiSeqLSTM，得到所述句子中各个词各自对应的顶层输出向量，词w_i和词w_j各自对应的顶层输出向量表示为将词w_i和词w_j各自对应的顶层输出向量分别与所述的表示向量拼接起来，作为感知器MLP的输入；感知器萃取出句法相关信息，公式表示如下：利用双仿射计算词wi和词wj的目标端依存弧分值，计算公式为：其中，W^b为双仿射运算参数；其中，将所述句子中各个词的嵌入向量和该词的词性的嵌入向量进行拼接，得到该词对应的拼接向量，以所述句子对应的全部拼接向量作为一个序列输入至循环神经网络BiSeqLSTM，运算处理后，循环神经网络BiSeqLSTM的顶层输出该句子的各个词各自对应的顶层输出向量；其中，双向树形循环神经网络TreeLSTM计算词wi、词wj、词wa各自对应的隐藏层输出向量的方法包括：对提取的最短路径树分别进行自下向上和自上向下的运算，其中自下向上运算，LSTM节点的输入信息包括两部分，一部分为：该LSTM节点对应的顶层输出向量；若该LSTM节点有儿子节点，则另一部分为所有儿子节点的隐藏层输出向量；若该LSTM节点没有儿子节点，则另一部分为零向量；自下向上运算过程中，词wa的隐藏层输出向量ha的计算公式如下：ha＝oa⊙tanh(ca)其中，hk是儿子节点wk节点的隐藏层输出向量；xa是最近公共祖先节点wa的输入向量；C(a)是最近公共祖先节点wa在最短路径树SP‑tree中的儿子构成的集合；fa,k是最近公共祖先节点wa的儿子节点wk对应的遗忘门向量；ia是最近公共祖先节点wa输入门输出向量；U(f)、V(f)、b(f)是遗忘门参数；U(i)、V(i)、b(i)是输入门参数；U(o)、V(o)、b(o)是输出门参数；U(u)、V(u)、b(u)是生成细胞状态候选向量的参数；oa是最近公共祖先节点wa节点的输出门输出向量；ua是细胞状态的候选向量；ca是新的细胞状态的向量；ha是最近公共祖先节点wa节点的隐藏层输出向量；自上向下运算，LSTM节点的输入信息包括两部分，一部分为：该LSTM节点对应的顶层输出向量；若该LSTM节点有父亲节点，则另一部分为父亲节点的隐藏层输出向量；若该LSTM节点没有父亲节点，则另一部分为零向量。