[发明专利]一种基于深度分层编码的智能语义匹配方法和装置

说明书

本发明公开了一种基于深度分层编码的智能语义匹配方法和装置，属于人工智能、自然语言处理技术领域，本发明要解决的技术问题为如何捕获更多的语义上下文信息和句子间的交互信息，以实现句子的智能语义匹配，采用的技术方案为：该方法是通过构建并训练由嵌入层、深度分层编码表示层、分层特征交互匹配层和预测层组成的句子匹配模型，实现对句子的深度分层编码表示，从而获取更多的语义上下文信息和句子间的交互信息，同时实现分层特征交互匹配机制，以达到对句子进行智能语义匹配的目标。该装置包括句子匹配知识库构建单元、训练数据集生成单元、句子匹配模型构建单元及句子匹配模型训练单元。

技术领域

本发明涉及人工智能、自然语言处理技术领域，具体地说是一种基于深度分层编码的智能语义匹配方法和装置。

背景技术

近年来，句子的语义匹配方法在自然语言处理领域越来越受重视。究其原因，众多自然语言处理任务以句子的语义匹配为基础，在一定程度上可以视为句子语义匹配任务的拓展。例如，“自动问答”任务可以通过计算“问题”与“候选答案”的匹配度进行处理；“信息检索”任务可以视为是在计算“查询句子”与“匹配文档”的匹配度。正因如此，句子的语义匹配在自然语言处理领域中起着至关重要的作用。衡量句子之间内在的语义匹配程度是一项非常有挑战性的工作，到目前为止，现有技术仍没有实质性地解决这一问题。

通过分析和研究，不难发现现有技术中大多都是以卷积神经网络模型或循环神经网络模型为基础的，而这两种模型自身特点和局限性导致其无法彻底解决这一问题。其中，卷积神经网络虽然擅长用不同的核函数捕捉和表示局部特征，但它忽略了文本中的序列信息，不适用于处理序列信息任务；循环神经网络虽然可以处理序列信息，但是它们大多只生成最终的向量表示而不考虑句子的层次关系，这可能会丢失一些重要的中间编码信息。而对于句子的语义匹配任务，句子中的词语顺序和句子的层次信息都是至关重要的，因此，单纯使用基于卷积神经网络模型或循环神经网络模型的方法几乎无法获得令人满意的结果。

故如何捕获更多的语义上下文信息和句子间的交互信息，并实现一种更加有效的语义匹配方式，以提高对句子进行智能语义匹配的准确率，是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于深度分层编码的智能语义匹配方法和装置，来达到捕获更多的语义上下文信息和句子间的交互信息，并通过实现一种新的分层特征交互匹配机制，最终达到对句子进行智能语义匹配的目的。

本发明的技术任务是按以下方式实现的，一种基于深度分层编码的智能语义匹配方法，该方法是通过构建并训练由嵌入层、深度分层编码表示层、分层特征交互匹配层和预测层组成的句子匹配模型，以此实现对句子的深度分层编码表示，获取更多的语义上下文信息和句子间的交互信息，同时通过实现一种新的分层特征交互匹配机制，以达到对句子进行智能语义匹配的目标；具体如下：

嵌入层对输入的句子进行嵌入操作，并将结果传递给深度分层编码表示层；

深度分层编码表示层对由嵌入操作获取的结果进行编码操作得到句子的中间编码表示特征与句子的最终编码表示特征两种不同的特征编码表示；

分层特征交互匹配层对句子的中间编码表示特征与句子的最终编码表示特征分别进行匹配处理，得到匹配表征向量；

在预测层使用一个全连接层对匹配表征向量进行一次映射，然后使用sigmoid层将得到的结果映射为指定区间中的一个值作为匹配度数值，根据匹配度数值与设定阀值的相对大小判定输入的句子对的语义是否匹配。

作为优选，所述嵌入层用于构建字符映射转换表、构建输入层及构建字向量映射层；

其中，构建字符映射转换表：映射规则为：以数字1为起始，随后按照每个字符被录入字符表的顺序依次递增排序，从而形成所需的字符映射转换表；其中，字符表通过句子匹配知识库构建；其后，本发明再使用Word2Vec训练字向量模型，得到各字符的字向量矩阵embedding_matrix；