[发明专利]文本相似度计算方法及装置

说明书

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种文本相似度计算方法及装置。

背景技术

目前，由多个字符所组成的文本已成为一种十分重要的信息载体。其文本间相似度的计算，作为一种文档处理中所经常使用的方法，通常被应用于文本聚类、文本检索、数据挖掘、系统自动问答等诸多应用场合。

在现有技术中，一种文本相似度的计算方式是：先分别对两个长文本基于词典进行切词，并计算每个文本中切词得到的各个分词的词频，然后根据词典确定两文本中各分词间的相似度，进而根据所得到的相似度以及词频计算两文本的整体相似度；另一种文本相似度的计算方式是：预先通过机器学习方式，训练得到一文本相似度计算模型，然后根据该模型确定文本间的相似度。

然而，上述现有技术所存在的技术缺陷在于：对于第一种文本相似度的计算方式而言，其依赖于词典，需要对文本进行切词，其实现算法比较复杂且不利于改进；对于第二种文本相似度的计算方式而言，其需要预先训练得到一文本相似度计算模型，其实现算法也比较复杂。因此，这两种方式均会导致文本相似度的计算速度很低。

发明内容

本发明实施例提供一种文本相似度计算方法及装置，以采用一种不依赖于词典、切词以及模型训练的算法，来实现文本之间的相似度的计算，从而提高相似度的计算速度。

第一方面，本发明实施例提供了一种文本相似度计算方法，该方法包括：

通过比较两个文本的节点，计算所述两个文本的增删距离与替换距离，其中所述增删距离与所述替换距离的和为所述两个文本的编辑距离；

根据所述增删距离与替换距离，计算所述两个文本的相似度。

第二方面，本发明实施例还提供了一种文本相似度计算装置，该装置包括：

文本距离计算单元，用于通过比较两个文本的节点，计算所述两个文本的增删距离与替换距离，其中所述增删距离与所述替换距离的和为所述两个文本的编辑距离；

文本相似度计算单元，用于根据所述增删距离与替换距离，计算所述两个文本的相似度。

本发明实施例提出的技术方案，是根据两个文本的增删距离和替换距离，来计算文本之间的相似度，该计算过程不依赖于词典、切词，也无需预先构造文本相似度计算模型，且实现算法简单，因而能够很好的提高文本相似度的计算速度。

附图说明

图1是本发明实施例一提供的一种文本相似度计算方法的流程示意图；

图2是本发明实施例二提供的一种文本相似度计算方法的流程示意图；

图3是本发明实施例三提供的一种文本相似度计算方法的流程示意图；

图4是本发明实施例四提供的一种文本相似度计算装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种文本相似度计算方法的流程示意图。本实施例可适用于对获取到的任意两文本进行相似度计算的情况。该方法可以由文本相似度计算装置来执行，所述装置可由软件和/或硬件执行，例如所述装置配置于具有存储器、处理器以及通信接口的终端设备或服务器。其中，存储器用于存储该文本相似度计算方法的程序指令，处理器用于执行存储器存储的程序指令，通信接口用于与外界其他设备进行数据通信。参见图1，该方法具体包括如下操作：

110、通过比较两个文本的节点，计算两个文本的增删距离与替换距离，其中增删距离与替换距离的和为两个文本的编辑距离；

120、根据所述增删距离与替换距离，计算两个文本的相似度。

在本实施例中，所述文本是用来计算相似度的两个文本，可由多个字符组成。每个字符可以是中文字符、英文字符或者其他特殊字符(例如“？”、“+”、“”等)。这两个文本可以是根据不同用户输入指令生成的，也可以是从其他装置获取得到的。例如，用来计算相似度的第一文本为：第一用户A针对微博平台发布的主题Q所输入的回复信息；用来计算相似度的第二文本为：第二用户B针对微博平台发布的主题Q所输入的回复信息。

所谓节点，指的是对组成两文本的内容进行比较的比较单位。在本实施例中，可设定每个字符为一个节点；也可先按照设定的编码格式，预先将两个文本中的每个字符转换为相应的二进制序列，该二进制序列以字节为容量单位，在此种情况下，可设定每个字符对应的一个字节长度的二进制序列为一个节点。