[发明专利]语句相似度的计算方法、装置及存储介质

说明书

本发明公开了一种语句相似度的计算方法，涉及语句分析领域，该方法包括步骤：获取待计算语句对；计算所述待计算语句对中的每一词语的语义贡献度，以得到所述用户语句的权重向量和所述标准语句的权重向量；将所述待计算语句对中的每一语句中的每一词语与另一语句的词语的进行比较，以得到词间相似度，根据所述词间相似度计算所述用户语句的相似向量和所述标准语句的相似向量；根据所述用户语句的权重向量和相似向量，以及所述标准语句的权重向量和相似向量，计算所述用户语句与所述标准语句之间的语句相似度。本发明实施例还提供了语句相似度的装置和存储介质，能有效提高对句子进行相似度计算的计算效率和计算结果的可信度。

技术领域

本发明涉及语句分析领域，尤其涉及一种语句相似度的计算方法、装置及存储介质。

背景技术

在聊天机器人开发中，根据用户输入的语句获取相同或相近的语句，是其中一个核心过程，而这个核心过程的实现依赖于语句相似度的计算方法。

在现有技术中，语句相似度的计算方法的一般有三种不同的实现方式，包括基于字符串的方式、基于词袋模型的方式和基于知识的方式。其中，基于字符串的方式以字符作为独立的知识单元，根据字符的相似性计算语句相似度；基于词袋模型的方式通过神经网络进行学习，根据从语料库中获取的信息计算文本相似度；基于知识的方式通过构建具有规范组织体系的知识库，以根据所述知识库计算文本相似度。

在实施本发明的过程中，发明人发现，现有的语句相似度的计算方法至少存在以下问题：

1、基于字符串的方式缺少对句子中各个组分的重要性考虑，导致对于语句相似度的计算结果的可信度较低；

2、基于词袋模型的方式忽略了句子中的语序关系，并且随着句子体量增大容易导致维度灾难，运算效率低下；

3、基于知识的方式依赖于知识库的构建，由于需要保证知识库中的信息有效可靠，因此知识库的更新效率缓慢，导致对于包含新兴词汇的语句相似度的计算结果可信度较低。

发明内容

本发明实施例的目的是提供一种语句相似度的计算方法、装置和存储介质，能有效提高对句子进行相似度计算的计算效率和计算结果的可信度。

为实现上述目的，本发明实施例提供了一种语句相似度的计算方法，包括步骤：

获取待计算语句对；其中，所述待计算语句对中的语句包括用户输入的用户语句和预先存入语料库的标准语句；

计算所述待计算语句对中的每一词语的语义贡献度，以得到所述用户语句的权重向量和所述标准语句的权重向量；其中，每一词语的语义贡献度为该词语对所属语句的语义表达的贡献度，每一语句的权重向量为该语句中的词语的语义贡献度所构成的向量；

将所述待计算语句对中的每一语句中的每一词语与另一语句的词语的进行比较，以得到词间相似度，根据所述词间相似度计算所述用户语句的相似向量和所述标准语句的相似向量；其中，每一语句的相似向量为该语句的词语的词间相似度所构成的向量；

根据所述用户语句的权重向量和相似向量，以及所述标准语句的权重向量和相似向量，计算所述用户语句与所述标准语句之间的语句相似度。

作为上述方案的改进，所述每一词语的语义贡献度，根据该词语在所属的语句中的词性和词频进行计算；所述相似向量为对相似度向量进行归一化处理得到的计算值，其中，所述相似度向量包括了所述用户语句中的每一词语与所述标准语句中的每一词语之间的相似度。

作为上述方案的改进，所述每一词语的语义贡献度，通过预先定义的词语与语义贡献度的关系进行计算。

作为上述方案的改进，所述计算所述待计算语句对中的每一词语的语义贡献度，以得到所述用户语句的权重向量和所述标准语句的权重向量，包括步骤：

计算每一词语的语义贡献度；