[发明专利]基于复合神经网络的语义关系推断系统和方法

权利要求书

1.一种基于复合神经网络的语义关系推断系统，其特征在于，所述系统包括特征提取单元、训练单元以及决策单元，所述训练单元包括双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型，其中：

所述特征提取单元，用于提取输入文本的词向量输出至所述训练单元；

所述训练单元，用于接收所述词向量，将需要匹配的两个文本的词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，将各模型输出的结果向量输出至所述决策单元；

所述决策单元，用于接收所述训练单元输入的结果向量，通过梯度增强决策树进行整合后输出需要匹配的两个文本的语义关系；

所述双生长短期记忆神经网络模型包括：

第一输入模块，用于将需要匹配的两个文本的词向量分别输入到两个长短期记忆神经网络，得到两个文本的最终隐藏状态；

第一训练模块，将两个文本的最终隐藏状态的归一化后的差值作为预测标签进行训练；

第一输出模块，用于将训练得的两个文本的最终隐藏状态进行向量拼接，输出至所述决策单元。

2.根据权利要求1所述的系统，其特征在于，所述分解焦距模型包括：

第二输入模块，用于将需要匹配的两个文本的词向量输入到一个分解聚焦矩阵，得到两个词向量位置的对位词向量；

第二训练单元，用于将对位词向量和相应位置的原词向量的比较结果输入到前馈神经网络进行训练；

第二输出单元，用于将训练得的两个文本的位置比较结果池化后的向量进行拼接，输出至所述决策单元。

3.根据权利要求1所述的系统，其特征在于，所述增强序列推断模型包括：

第三输入模块，用于将需要匹配的两个文本的词向量输入到一个双生长短期记忆神经网络，得到每一步两个文本的隐藏状态；

第四输入模块，用于将双生长短期记忆神经网络每一步的隐藏状态作为对应文本的位置编码，输入到一个分解聚焦矩阵，得到两个文本的对位局域编码；

第五输入模块，用于将两个文本的对位局域编码输入到一个长短期记忆神经网络，得到两个文本的隐藏状态；

第三输出单元，用于将两个文本的隐藏状态池化后的向量进行拼接，输出至所述决策单元。

4.一种基于复合神经网络的语义关系推断方法，其特征在于，所述方法包括：

提取输入文本的词向量；

对所述词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练；

将各模型输出的结果向量进行整合后输出需要匹配的两个文本的语义关系；

所述方法还包括：

双生长短期记忆神经网络模型的训练步骤：

将需要匹配的两个文本的词向量分别输入到两个长短期记忆神经网络，得到两个文本的最终隐藏状态；

将两个文本的最终隐藏状态的归一化后的差值作为预测标签进行训练；

将训练得的两个文本的最终隐藏状态进行向量拼接，输出至决策单元。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

分解焦距模型的训练步骤：

将需要匹配的两个文本的词向量输入到一个分解聚焦矩阵，得到两个词向量位置的对位词向量；

将对位词向量和相应位置的原词向量的比较结果输入到前馈神经网络进行训练；

将训练得的两个文本的位置比较结果池化后的向量进行拼接，输出至所述决策单元。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

增强序列推断模型的训练步骤：

将需要匹配的两个文本的词向量输入到一个双生长短期记忆神经网络，得到每一步两个文本的隐藏状态；

将双生长短期记忆神经网络每一步的隐藏状态作为对应文本的位置编码，输入到一个分解聚焦矩阵，得到两个文本的对位局域编码；

将两个文本的对位局域编码输入到一个长短期记忆神经网络，得到两个文本的隐藏状态；

将两个文本的隐藏状态池化后的向量进行拼接，输出至所述决策单元。