[发明专利]一种文本相似度计算方法及装置

说明书

一种文本相似度计算方法，用于计算两个文本之间的相似度，其中，从每个文本中能够提取至少两个对象的数据，所述对象指能够体现所述文本语义的特征，所述方法包括：确定两个文本的共有对象，其中，所述共有对象的数目为至少两个；计算所述两个文本之间的每个共有对象的汉明距离；在所述至少两个共有对象的汉明距离满足第一预设条件时，根据以下至少一项确定所述两个文本之间的相似度：所述至少两个共有对象中预定对象的词向量相似度、汉明距离以及拼接字符串相似度。通过上述方案，能够提高文本相似度计算的效率及准确性。

技术领域

本发明涉及数据处理领域，尤其涉及一种文本相似度计算方法及装置。

背景技术

目前，文本之间的相似度计算被应用到多个方面。在相关技术中，可以采用以下两种方案进行文本之间的对比。

第一种方案为：通过将长文本分词后，针对每个词做哈希(hash)计算，并使用频率做加权得到向量，再对向量二进制化，得到文本的哈希值。根据文本之间的哈希值确定汉明距离。上述方案在谷歌(google)、百度等网页去重领域应用非常广泛。

第二种方案为：采用文档主题生成模型(LDA，Latent Dirichlet Allocation)或概率潜语义分析(PLSA，Probability Latent Semantic Analysis)等主题模型，通过机器学习，将文本映射到主题向量中，生成的向量之间存在一定的物理意义，通过计算两个向量的余弦相似度从而得到两个文本之间的相似性。

然而，上述第一种方案虽然能够高效地获取两个文本的汉明距离，但是抛弃了内容的语义，只是从文本字符串的角度进行距离的计算；当文本为短文本时，对比效果并不理想。而且，第一种方案的计算结果是距离值，不是相似度，不便于后续的业务处理。上述第二种方案虽然通过机器学习的方式可以很好地表示文本语义，但是，其中采用的模型的训练过程非常耗时，非常依赖训练样本，可能会产生即使是很简单的句子也会计算错误的问题。并且高维向量之间的余弦计算效率较低，不实用于大文本或大数据环境。

综上可知，相关技术中的文本相似度计算方案的计算效率较低、准确性较低。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供一种文本相似度计算方法及装置，能够提高文本相似度计算的效率及准确性。

本申请实施例提供一种文本相似度计算方法，用于计算两个文本之间的相似度，其中，从每个文本中能够提取至少两个对象的数据，所述对象指能够体现所述文本语义的特征，所述方法包括：确定两个文本的共有对象，其中，所述共有对象的数目为至少两个；计算所述两个文本之间的每个共有对象的汉明距离；在所述至少两个共有对象的汉明距离满足第一预设条件时，根据以下至少一项确定所述两个文本之间的相似度：所述至少两个共有对象中预定对象的词向量相似度、汉明距离以及拼接字符串相似度。

可选地，所述方法还包括：在所述至少两个共有对象的汉明距离不满足所述第一预设条件时，根据所述至少两个共有对象的汉明距离中的最小值确定所述两个文本之间的相似度。

可选地，所述在所述至少两个共有对象的汉明距离满足第一预设条件时，确定所述两个文本之间的相似度，包括：