[发明专利]基于树形循环神经网络的自动树库转化方法及系统有效
申请号: | 201810366795.6 | 申请日: | 2018-04-23 |
公开(公告)号: | CN108628829B | 公开(公告)日: | 2022-03-15 |
发明(设计)人: | 李正华;江心舟;章波;张民;陈文亮 | 申请(专利权)人: | 苏州大学 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/289;G06N3/04;G06N3/08 |
代理公司: | 苏州市中南伟业知识产权代理事务所(普通合伙) 32257 | 代理人: | 杨慧林 |
地址: | 215104 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 树形 循环 神经网络 自动 转化 方法 系统 | ||
1.一种基于树形循环神经网络的自动树库转化方法,其特征在于,包括:
获取双树对齐数据库,所述双树对齐数据库内存储有采用两种标注规范进行标注的句子;
分别计算各所述句子中每两个词在目标端树中的依存弧分值,其中,所述的两个词分别以词wi和词wj表示,预设词wi和词wj在目标端树中分别为修饰词和核心词,词wi和词wj在目标端树中的依存弧分值计算过程包括:
在源端树中提取词wi、词wj的最短路径树,基于双向树形循环神经网络TreeLSTM,得到该最短路径树中词wi、词wj、词wa各自对应的隐藏层输出向量其中,在源端树dsrc中,词wa为词wi和词wj的最近公共祖先节点;
将词wi、词wj、词wa的隐藏层输出向量拼接起来,作为词wi和词wj在源端树中的表示向量即
基于循环神经网络BiSeqLSTM,得到所述句子中各个词各自对应的顶层输出向量,词wi和词wj各自对应的顶层输出向量表示为
将词wi和词wj各自对应的顶层输出向量分别与所述的表示向量拼接起来,作为感知器MLP的输入;
感知器萃取出句法相关信息,公式表示如下:
利用双仿射计算词wi和词wj的目标端依存弧分值,计算公式为:
其中,Wb为双仿射运算参数;
其中,将所述句子中各个词的嵌入向量和该词的词性的嵌入向量进行拼接,得到该词对应的拼接向量,以所述句子对应的全部拼接向量作为一个序列输入至循环神经网络BiSeqLSTM,运算处理后,循环神经网络BiSeqLSTM的顶层输出该句子的各个词各自对应的顶层输出向量;
其中,双向树形循环神经网络TreeLSTM计算词wi、词wj、词wa各自对应的隐藏层输出向量的方法包括:对提取的最短路径树分别进行自下向上和自上向下的运算,其中
自下向上运算,LSTM节点的输入信息包括两部分,一部分为:该LSTM节点对应的顶层输出向量;若该LSTM节点有儿子节点,则另一部分为所有儿子节点的隐藏层输出向量;若该LSTM节点没有儿子节点,则另一部分为零向量;自下向上运算过程中,词wa的隐藏层输出向量ha的计算公式如下:
fa,k=σ(U(f)xa+V(f)hk+b(f))
ha=Oa⊙tanh(ca)
其中,hk是儿子节点wk节点的隐藏层输出向量;
xa是最近公共祖先节点wa的输入向量;
C(a)是最近公共祖先节点wa在最短路径树SP-tree中的儿子构成的集合;
fa,k是最近公共祖先节点wa的儿子节点wk对应的遗忘门向量;
ia是最近公共祖先节点wa输入门输出向量;
U(f)、V(f)、b(f)是遗忘门参数;
U(i)、V(i)、b(i)是输入门参数;
U(o)、V(o)、b(o)是输出门参数;
U(u)、V(u)、b(u)是生成细胞状态候选向量的参数;
Oa是最近公共祖先节点wa节点的输出门输出向量;
ua是细胞状态的候选向量;
ca是新的细胞状态的向量;
ha是最近公共祖先节点wa节点的隐藏层输出向量;
自上向下运算,LSTM节点的输入信息包括两部分,一部分为:该LSTM节点对应的顶层输出向量;若该LSTM节点有父亲节点,则另一部分为父亲节点的隐藏层输出向量;若该LSTM节点没有父亲节点,则另一部分为零向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州大学,未经苏州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810366795.6/1.html,转载请声明来源钻瓜专利网。