[发明专利]文本数据处理方法及装置、电子设备和可读存储介质

权利要求书

1.一种文本数据处理方法，包括：

获取待处理文本数据；

基于相似度检测算法，确定所述待处理文本数据的特征值；

依次使用第一缓存数据库中存储的多个第一文本数据的特征值与所述待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及

响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定所述待处理文本数据为目标文本数据。

2.根据权利要求1所述的方法，还包括：

在计算得到的所有第一相似度数值均大于所述第一预设值的情况下，从第二缓存数据库中随机选择预设数量的文本数据，得到多个第二文本数据；

使用多个所述第二文本数据的特征值分别与所述待处理文本数据的特征值进行相似度计算，得到多个第二相似度数值；

基于多个所述第二相似度数值，确定第三文本数据的数量，其中，所述第三文本数据包括所述第二相似度数值小于或等于所述第一预设值的所述第二文本数据；

在所述第三文本数据的数量小于第二预设值的情况下，将所述待处理文本数据存储至所述第二缓存数据库中；以及

在所述第三文本数据的数量大于或等于所述第二预设值的情况下，将所述第二缓存数据库中的所述第三文本数据删除，并确定所述待处理文本数据和所述第三文本数据为目标文本数据。

3.根据权利要求2所述的方法，还包括：

在将所述待处理文本数据存储至所述第二缓存数据库时，基于系统时间和预设时长为所述待处理文本数据设置时间标识。

4.根据权利要求3所述的方法，还包括：

轮询所述第二缓存数据库中的文本数据的时间标识；

在当前文本数据的时间标识表征的时间晚于当前系统时间的情况下，从所述第二缓存数据库中提取所述当前文本数据；以及

将所述当前文本数据存储至数据库中。

5.根据权利要求1～4中任一项所述的方法，还包括：

将所述目标文本数据存储至所述第一缓存数据库中。

6.根据权利要求1～4中任一项所述的方法，还包括：

设置定时任务；

响应于触发所述定时任务，删除所述第一缓存数据库和所述第二缓存数据库中存储的文本数据。

7.根据权利要求1所述的方法，其中，所述基于相似度检测算法，确定所述待处理文本数据的特征值，包括：

采用分词工具，将所述待处理文本数据分解为词语集；

计算所述词语集中每个词语的哈希值；

基于预设权值，对所述词语集中各个词语的哈希值进行加权求和，得到所述待处理文本数据的签名值；以及

对所述签名值进行降维处理，得到所述待处理文本数据的特征值。

8.根据权利要求7所述的方法，其中，所述依次使用第一缓存数据库中存储的多个第一文本数据的特征值与所述待处理文本数据的特征值进行相似度计算，得到第一相似度数值，包括：

依次对于每个所述第一文本数据，计算所述第一文本数据的特征值与所述待处理文本数据的特征值之间的海明距离，得到所述第一相似度数值。

9.一种文本数据处理装置，包括：

获取模块，用于获取待处理文本数据；

第一确定模块，用于基于相似度检测算法，确定所述待处理文本数据的特征值；

第一计算模块，用于依次使用第一缓存数据库中存储的多个第一文本数据的特征值与所述待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及

第二确定模块，用于响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定所述待处理文本数据为目标文本数据。

10.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个指令，

其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。