[发明专利]文本相似性度量方法、装置、终端及存储介质

说明书

本发明实施例公开了一种文本相似性度量方法、装置、终端及存储介质，其中方法包括：获取待处理的目标文本集合，所述目标文本集合包括第一文本和第二文本；对所述目标文本集合进行意图分类处理，得到所述目标文本集合的概率向量组；其中，所述目标文本集合的概率向量组包括所述第一文本的第一意图类别所对应的第一概率向量和所述第二文本的第二意图类别所对应的第二概率向量；基于意图相似性矩阵、所述第一概率向量和所述第二概率向量确定所述目标文本集合的目标相似性。本发明实施例通过意图分类来计算目标文本集合的目标相似性，可以提高相似性度量结果的准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及文本相似性度量方法、装置、终端及存储介质。

背景技术

相似性度量，即综合评定两个事物之间相近程度的一种度量。相似性度量方法在信息检索领域是备受关注的研究内容，可以被广泛运用于信息检索和智能问答系统。目前，常用的相似性度量方法主要包括：欧式距离相似性度量方法和角度相似性度量方法(例如cos相似性度量)。目前常用的相似性度量方法主要通过计算两个文本之间的距离或者角度，根据计算出的距离或角度来评判两个文本的相似度。

由于自然语言具有语言表达丰富多样的特点，对于同一句话，可能存在不同的表达方式。两个文本的表达方式的不同，则会影响计算出的两个文本之间的距离或者角度，其相似度也会随之受到影响。由此可见，目前的相似性度量方法在计算两个文本的相似度时，会受到文本的表达方式的影响，其计算出的相似度的准确性较低。

发明内容

本发明实施例提供了一种文本相似性度量方法、装置、终端及计算机可读存储介质，可以提高相似性度量结果的准确性。

一方面，本发明实施例提供了一种文本相似性度量方法，所述相似性度量方法包括：

获取待处理的目标文本集合，所述目标文本集合包括第一文本和第二文本；

对所述目标文本集合进行意图分类处理，得到所述目标文本集合的概率向量组；其中，所述目标文本集合的概率向量组包括所述第一文本的第一意图类别对应的第一概率向量和所述第二文本的第二意图类别对应的第二概率向量；

基于意图相似性矩阵、所述第一概率向量和所述第二概率向量确定所述目标文本集合的目标相似性。

另一方面，本发明实施例提供了一种文本相似性度量装置，所述文本相似性度量装置包括：

获取单元，用于获取待处理的目标文本集合，所述目标文本集合包括第一文本和第二文本；

处理单元，用于对所述目标文本集合进行意图分类处理，得到所述目标文本集合的概率向量组；其中，所述目标文本集合的概率向量组包括所述第一文本的第一意图类别对应的第一概率向量和所述第二文本的第二意图类别对应的第二概率向量；

确定单元，用于基于意图相似性矩阵、所述第一概率向量和所述第二概率向量确定所述目标文本集合的目标相似性。

再一方面，本发明实施例提供一种用于文本相似性度量的终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：

获取待处理的目标文本集合，所述目标文本集合包括第一文本和第二文本；

对所述目标文本集合进行意图分类处理，得到所述目标文本集合的概率向量组；其中，所述目标文本集合的概率向量组包括所述第一文本的第一意图类别对应的第一概率向量和所述第二文本的第二意图类别对应的第二概率向量；

基于意图相似性矩阵、所述第一概率向量和所述第二概率向量确定所述目标文本集合的目标相似性。