[发明专利]一种文本处理方法及装置

说明书

本发明提供一种文本处理方法及装置，在随机获取两个待检测文本后，至少根据第一相似度算法和第二相似度算法得到两个待检测文本之间的第一类型相似度和第二类型相似度，进而根据第一类型相似度、第二类型相似度、第一阈值和第二阈值，得到两个待检测文本之间的相似度，也就是说本发明根据至少两种算法得到两种类型相似度，并根据两种类型相似度和各自对应的阈值得到指示两个待检测文本是否相似的相似度，这种方式相对于现有通过一种相似度算法判定两个待检测文本是否相似的方式来说，本发明得到的指示两个待检测文本是否相似的相似度的准确度提高，进而提高检测的准确度。

技术领域

本发明属于文本信息处理技术领域，更具体的说，尤其涉及一种文本处理方法及装置。

背景技术

随着计算机对文本信息等各种自然语言处理应用的普及，需要提供一个有效且准确的方法来计算待检测文本和已检测文本之间的文本相似度，文本(特别是短文本)相似度的计算方法在计算机文本相关的研究和应用领域中扮演着越来越重要的角色。如在文本检索领域(Text Retrieval)，短文本相似度可以改善搜索引擎的召回率(Recall)和准确度(Precision)；在文本挖掘领域(Text Mining)，短文本相似度作为一个测量方法用来发现文本数据库中潜在的知识；在基于网页的图像检索(Image Retrieval)领域，可以利用图像周围的描述性短文本来提高准确率，其中已检测文本是已经通过文本相似度进行检测的文本。

目前文本相似度的计算方法可以对两个待检测文本通过分词技术进行分词，分别得到两个待检测文本中的各个词，将得到的词映射到VSM(Virtual Switch Matrix，虚拟交换矩阵)中，通过VSM实现文本片段的向量化，再通过向量相似计算算法获取两个待检测文本之间的片段相似度，根据片段相似度得到两个待检测文本之间的相似度，但是这种通过向量化得到的相似度对词的缺失敏感度较强，使得相似度的准确度降低，其中对词的缺失敏感度较强是指计算相似度时，词的不同会使得相似度的取值变化很大。

发明内容

有鉴于此，本发明的目的在于提供一种文本处理方法及装置，用于提高相似度的准确度，进而提高检测的准确度。具体的，技术方案如下：

本发明提供一种文本处理方法，所述方法包括：

随机获取两个待检测文本；

至少根据第一相似度算法和第二相似度算法，计算所述两个待检测文本之间的第一类型相似度和所述两个待检测文本之间的第二类型相似度，其中所述第一类型相似度根据所述第一相似度算法计算得到，所述第二类型相似度根据所述第二相似度算法计算得到；

根据所述第一类型相似度、所述第二类型相似度、第一阈值和第二阈值，得到所述两个待检测文本之间的相似度，其中所述第一阈值是预先得到的与所述第一相似度算法对应的阈值，所述第二阈值是预先得到的与所述第二相似度算法对应的阈值；

当所述两个待检测文本之间的相似度在预设范围内时，确定所述两个待检测文本相似；

当所述两个待检测文本之间的相似度不在预设范围时，确定所述两个待检测文本不相似。

优选地，所述根据所述第一类型相似度、所述第二类型相似度、第一阈值和第二阈值，得到所述两个待检测文本之间的相似度，包括：

根据所述第一类型相似度和所述第一阈值，得到所述两个待检测文本之间的第一相似度；

根据所述第二类型相似度和所述第二阈值，得到所述两个待检测文本之间的第二相似度；

根据所述第一相似度、所述第二相似度、预设第一权重和预设第二权重，得到所述两个待检测文本之间的相似度。

优选地，所述方法还包括：预先得到与所述第一相似度算法对应的第一阈值和预先得到与所述第二相似度算法对应的第二阈值；