[发明专利]一种基于深度分层编码的智能语义匹配方法和装置

权利要求书

1.一种基于深度分层编码的智能语义匹配方法，其特征在于，该方法是通过构建并训练由嵌入层、深度分层编码表示层、分层特征交互匹配层和预测层组成的句子匹配模型，以此实现对句子的深度分层编码表示，获取更多的语义上下文信息和句子间的交互信息，同时实现分层特征交互匹配机制，以达到对句子进行智能语义匹配的目标；具体如下：

嵌入层对输入的句子进行嵌入操作，并将结果传递给深度分层编码表示层；

深度分层编码表示层对由嵌入操作获取的结果进行编码操作，得到句子的中间编码表示特征与句子的最终编码表示特征两种不同的特征编码表示；

分层特征交互匹配层对句子的中间编码表示特征与句子的最终编码表示特征分别进行匹配处理，得到句子对的匹配表征向量；分层特征交互匹配层用于构建分层特征交互匹配机制；其中，构建分层特征交互匹配机制是对经过深度分层编码表示层处理后得到的sentence1、sentence2的中间编码表示特征的向量表示和最终编码表示特征的向量表示根据得到的这两类向量从不同的角度进行匹配，从而生成匹配表征向量；具体如下：

计算公式如下：

其中，表示中间编码表示特征向量逐元素之间求差取得的绝对值；表示最终编码表示特征向量逐元素之间求差取得的绝对值；表示与逐元素求积取得的值；

计算公式如下：

其中，分别为对应句子向量的平均向量表示；表示中间编码表示特征向量分别与其平均值作差后再进行逐元素之间求差取得的绝对值；表示最终编码表示特征向量分别与其平均值作差后再进行逐元素之间求差取得的绝对值；表示与逐元素求积取得的值；

将计算得出的两个结果和进行联接，作为句子对匹配程度的全面表征，公式如下：

其中，表示最终生成的匹配表征向量；

在预测层使用一个全连接层对匹配表征向量进行一次映射，然后使用sigmoid层将得到的结果映射为指定区间中的一个值作为匹配度数值，根据匹配度数值与设定阈值的相对大小判定输入的句子对之间的语义是否匹配。

2.根据权利要求1所述的基于深度分层编码的智能语义匹配方法，其特征在于，所述嵌入层用于构建字符映射转换表、构建输入层及构建字向量映射层；

其中，构建字符映射转换表：映射规则为：以数字1为起始，随后按照每个字符被录入字符表的顺序依次递增排序，从而形成所需的字符映射转换表；其中，字符表通过句子匹配知识库构建；其后，再使用Word2Vec训练字向量模型，得到各字符的字向量矩阵embedding_matrix；

构建输入层：输入层包括两个输入，对输入句子sentence1、sentence2，将其形式化为：(sentence1，sentence2)；对于输入句子中的每个字按照字符映射表转化为相应的数字表示；

构建字向量映射层：加载字符映射转换表构建步骤中训练所得的字向量矩阵权重来初始化当前层的权重参数；针对输入句子sentence1和sentence2，得到其相应句子向量sentence1_emd、sentence2_emd；句子匹配知识库中每一个句子均通过字向量映射的方式，将句子信息转化为向量形式。

3.根据权利要求1或2所述的基于深度分层编码的智能语义匹配方法，其特征在于，所述深度分层编码表示层的构建过程具体如下：

句子的中间编码表示特征：使用一个双向长短期记忆网络BiLSTM，对经过字向量映射层处理后的句子进行两次编码处理，再对两次编码获得的语义特征进行联接操作而得到，公式如下：

其中，i表示相应字向量在句子中的相对位置；p_i为句子中每个字的相应向量表示；为经过BiLSTM第一次编码后的句子向量；表示经过BiLSTM第二次编码后的句子向量；为向量联接的结果，即该句子的中间编码表示特征；

句子的最终编码表示特征：使用一个卷积神经网络CNN对于输出的中间编码表示特征继续进行编码处理，其输出则作为句子的最终编码表示特征，公式如下：

其中，为经过CNN编码后的句子最终编码表示特征。