[发明专利]基于物理距离和语义距离的双向LSTM模型的构建方法

说明书

本发明属于计算机技术领域，具体涉及基于物理距离和语义距离的双向LSTM模型的构建方法，包括以下步骤：a、进行数据预处理；b、对LSTM模型中的单词进行向量化处理并对其物理特征和语义特征进行设置；c、构建双向LSTM模型。与现有技术相比，本发明可以有效地在LSTM网络的输入上增加物理特征和语义特征，在特征选择上，不仅仅使用词向量作为特征，更实将位置特征添加进来，将模型的训练集从句子级别细化到了实体对级别；模型构建上，也考虑到了语义上的句法以来，既充分考虑到了两个实体之间的最直接语义特征，降低上下文长度，又考虑到了非最短路径上的词语对分类结果的影响，有效提高了准确率。

技术领域

本发明属于计算机技术领域，具体涉及基于物理距离和语义距离的双向LSTM模型的构建方法。

背景技术

长短期记忆人工神经网络(long-Short Term Memory,LSTM)是一种递归神经网络(RNN)的特殊类型，RNN是包含循环的网络，每个神经元把当前结果输出到下一单元。RNN允许信息的持久化，对于那些需要序列连续输入的数据有更好的表现，在语音识别，语言建模，翻译，图片描述等问题上已经取得大量成功应用。LSTM通过在特殊记忆单元中保持一个常数误差流(Constant error flow)的方法，解决了RNN中长期以来的问题，并在局部防止了梯度爆发与消失(Exploding and vanishing gradients)的问题，LSTM适合处理预测时间序列中间隔和延迟非常长的数据。作为线性模型，LSTM可以作为复杂的非线性单元用于构造更大型深度神经网络。

目前，有对出现对LSTM模型的研究，如张冲.基于Attention-Based LSTM模型的文本分类技术的研究[D].南京：南京大学，2016。但是没有对于物理距离与语义距离的双向LSTM模型的研究。

因此，有必要提出一种基于物理距离和语义距离的双向LSTM模型的。

发明内容

本发明的目的在于：针对现有技术的不足，而提供的基于物理距离和语义距离的双向LSTM模型的构建方法，通过该方法可以有效地在LSTM网络的输入上增加物理特征和语义特征，可以将分类过程从句子级别变为实体对级别，针对句子中不同的实体对可以得到不同的分类结果，有效提高了准确率。

为实现上述目的，本发明采用如下技术方案：

基于物理距离和语义距离的双向LSTM模型的构建方法，包括以下步骤：

a、对构成LSTM模型的数据进行预处理；

b、对LSTM模型中的单词进行向量化处理并对其物理特征和语义特征进行设置；

c、根据物理距离和语义距离的注意力机制构建双向LSTM模型。

作为对本发明中所述基于物理距离和语义距离的双向LSTM模型的构建方法的改进，所述步骤a具体包括以下步骤：

a1、泛化，将核心词替换为其上位词；

a2、英文分词和语法句法解析，利用CoreNLP工具进行词性标注、命名实体识别和句法依赖分析。

需要说明的是，CoreNLP是斯坦福大学2010年开源的一个完整独立的用于自然语言处理的框架，除了词性标注、命名实体识别、句法依赖分析外，CoreNLP还有原词发现、指代消解、基于规则的关系抽取、开放域关系抽取、情感分析等功能。

作为对本发明中所述基于物理距离和语义距离的双向LSTM模型的构建方法的改进，所述步骤a1中使用上位词进行泛化时需保证特定关系的语义层级高于上位词泛化程度的语义层级。

作为对本发明中所述基于物理距离和语义距离的双向LSTM模型的构建方法的改进，所述步骤a2中还包括对真正的实体词进行合并，同时修改词语的偏移量和合并后实体词的依赖关系。