[发明专利]基于词汇依存三元组的文本蕴含识别方法及装置

说明书

本发明属于自然语言处理技术领域，具体提供了一种文本蕴含识别方法及装置。旨在解决现有技术需要对句子进行复杂的特征描述和特征提取的问题。本发明的文本蕴含识别方法包括对待识别文本蕴含句对的源句子和目标句子进行依存句法分析，并根据分析结果获取源句子依存三元组集合和目标句子依存三元组集合；对源句子依存三元组集合和目标句子依存三元组集合进行语义关系比较，得到比较结果；根据比较结果预测源句子和目标句子之间的语义蕴含关系。本发明的方法可以从整体角度提升句子之间的比较精度，并且提升句子的依存三元组之间的对齐精度，进而提高语义蕴含关系预测的准确率。本发明的装置同样具有上述有益效果。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于词汇依存三元组的文本蕴含识别方法及装置。

背景技术

当前，文本蕴含识别的研究在自然语言领域受到广泛关注，已经从最开始的纯理论探讨转换为较大规模的理论研究和经验性平台建设.当前，文本蕴含识别的方法主要包括以下四种：

第一：分类方法。该方法将文本蕴含形式化为一个分类问题。根据已标注的训练实例，学习其中的特征并建立分类器，其中大部分分类器是基于SVM，而用于学习的特征主要为基于词汇重叠或者一阶逻辑的词汇-句法和语义特征。

第二：深层语义分析和推理。这种方法主要采用传统的逻辑推理,自然逻辑推理，本体推理或者语义特征等。

第三：转换方法。在该方法下，判断是否可以基于蕴含规则由文本片段T得到假设H。所用到的算法包括树编辑距离,保持语义等价性的转换和概率模型等。

第四：性能驱动。这种方法主要针对一些特定的语言形式，如词汇相似性或者矛盾性，设计正确性驱动的模块，利用投票机制结合这些模块并辅以召回率的处理机制。这种方法的关键仍然是蕴含规则的获取。

当前文本蕴含识别方法更倾向于求解句子的整体表示，然后对句子表示进行比较，或者从句子中抽取一个依存三元组与另一个依存三元组集合进行比较，现有技术的方法均无法有效地比较句对中的语义信息，均需要对句子进行复杂的特征描述和特征提取。

随着深度神经网络的兴起，利用神经网络的方法进行文本蕴含识别成为当前研究的热点和难点。特别是在2015年，斯坦福大学公开了包含570K句对的英文文本蕴含识别语料，在一定程度上解决了深度神经网络训练数据的瓶颈问题。这在很大程度上促进了神经网络方法在文本蕴含识别任务上的应用。最近两年在ACL等会议上出现了大量利用神经网络的方法改进文本蕴含识别在数据集SNLI上性能的模型。这对文本蕴含识别最终的应用都有着极大的促进作用。不同于传统的分类方法，采用神经网络的方法在模型的实现过程中不再需要对句子进行复杂的特征描述以及特征的抽取，通过学习得到文本T和假设H对应的词向量和句向量，然后利用深度神经网络模型学习得到当前句对的分类模型。

从2005年至今，文本蕴含研究的发展呈现出以下趋势：从传统的纯统计学方法及规则方法，逐渐过渡到利用统计方法和规则相结合的方法，对文本语言的分析也逐渐深入，逐步将一些语言学的信息加入到统计模型中去，逐步加深了对语义的关注，而不再是基于表面的句法及句子结构信息。特别是在深度神经网络中，将解决问题的焦点放在了句子的表示上，通过优化句子表示来尽可能最优的表述句子的语义，从而改进系统的性能。

因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术需要对句子进行复杂的特征描述和特征提取的问题，本发明的第一方面提供了一种基于词汇依存三元组的文本蕴含识别的方法，包括：

对待识别文本蕴含句对的源句子和目标句子进行依存句法分析，并根据分析结果获取源句子依存三元组集合和目标句子依存三元组集合；

对所述源句子依存三元组集合和所述目标句子依存三元组集合进行语义关系比较，得到比较结果；