[发明专利]语义相似度计算方法及装置

说明书

本发明是关于一种语义相似度计算方法及装置，其中，方法包括：分别对句子对中的第一句子和第二句子进行预处理，提取第一句法、第二句法以及第一句子和第二句子之间的统计特征；分别将第一句子和第二句子中的词语和词性转化成向量，得到对应的第一特征矩阵和第二特征矩阵；根据预设的第一深度神经网络模型确定对应的第一句子初步表示和第二句子初步表示；根据预设的第二深度神经网络模型确定第一句子和第二句子之间的相似度；根据第一句子和第二句子之间的相似度确定第一句子和第二句子是否相似。通过该方案，融合了词特征、词序特征、短语特征和句子级别上的统计特征，可以更加准确的确定句子之间的相似度。

技术领域

本发明涉及语义识别技术领域，尤其涉及一种语义相似度计算方法及装置。

背景技术

语义相似度计算主要是判断两个句子语义是否相似，比如判断“北极有什么动物”和“有哪些动物生活在北极”是否相似。现在语义相似度主要是基于字面上的句法特征，通过特征选择，将句子表示成向量，然后对两个句子计算余弦相似度，大于设定相似度则相似，否则不相似。

现有相似度计算主要存在以下问题：

1)缺少对句子的语序及语义的刻画；

2)依赖大量高精准的同义词或对齐短语资源。

发明内容

本发明实施例提供一种语义相似度计算方法及装置，用以实现更准确的确定句子之间的相似度。

根据本发明实施例的第一方面，提供一种语义相似度计算方法，包括：

分别对句子对中的第一句子和第二句子进行预处理，提取第一句子对应的第一句法、第二句子对应的第二句法以及所述第一句子和所述第二句子之间的统计特征；

分别将所述第一句子和第二句子中的词语和词性转化成向量，得到对应的第一特征矩阵和第二特征矩阵；

根据所述第一特征矩阵、第二特征矩阵和预设的第一深度神经网络模型确定对应的第一句子初步表示和第二句子初步表示；

根据所述第一句子初步表示、第二句子初步表示、所述统计特征对应的统计特征向量和预设的第二深度神经网络模型确定所述第一句子和所述第二句子之间的相似度；

根据所述第一句子和所述第二句子之间的相似度确定所述第一句子和所述第二句子是否相似。

在一个实施例中，所述分别将所述第一句子和第二句子中的词语和词性转化成向量，确定对应的第一特征矩阵和第二特征矩阵，包括：

利用word2vec分别将所述第一句子和所述第二句子中的词语转化成词向量，得到第一句子对应的第一词语特征矩阵和第二句子对应的第二词语特征矩阵；

利用pos2vec分别将所述第一句子和所述第二句子中的词性转化成词性向量，得到第一句子对应的第一词性特征矩阵和第二句子对应的第二词性特征矩阵；

将所述第一词语特征矩阵和所述第一词性特征矩阵拼接得到所述第一特征矩阵，将所述第二词语特征矩阵和所述第二词特征矩阵拼接得到所述第二特征矩阵。

在一个实施例中，所述根据所述第一特征矩阵、第二特征矩阵和预设的第一深度神经网络模型得到对应的第一句子初步表示和第二句子初步表示，包括：

分别将所述第一特征矩阵和所述第二特征矩阵作为所述第一深度神经网络模型的输入，得到对应的第一句子初步表示和第二句子初步表示。

在一个实施例中，所述根据所述第一句子初步表示、第二句子初步表示、所述统计特征对应的特征向量和预设的第二深度神经网络模型确定所述第一句子和所述第二句子之间的相似度，包括：

分别对所述第一句子初步表示和所述第二句子初步表示做逐点相减和逐点相乘运算，得到对应的几何距离特征矩阵和角度距离特征矩阵；