[发明专利]文本数据处理方法及装置、电子设备和可读存储介质

说明书

本公开提供了一种文本数据处理方法及装置、电子设备和计算机可读存储介质，本公开涉及互联网技术领域。该文本数据处理方法包括：获取待处理文本数据；基于相似度检测算法，确定待处理文本数据的特征值；依次使用第一缓存数据库中存储的多个第一文本数据的特征值与待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定待处理文本数据为目标文本数据。

技术领域

本公开涉及互联网技术领域，更具体地，涉及一种文本数据处理方法及装置、电子设备、可读存储介质和一种计算机程序产品。

背景技术

随着互联网技术的发展，目前互联网基于用户偏好给用户推荐的文章越来越多，但是文章下相似的冗余评论，以及由机器生成的重复评论过多，使用户的体验感较差。

相关技术中，对于评论等文本数据，通常采用基于人工神经网络的方法进行文本的识别，例如通过有监督/无监督的文本相似度计算、DSSM-LSTM计算短文本相似性等，以确定该文本是否为冗余信息。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：相关方法的实现较重，依赖于机器学习，对运算资源的需求量大。

发明内容

有鉴于此，本公开提供了一种文本数据处理方法及装置、电子设备、可读存储介质和一种计算机程序产品。

本公开的一个方面提供了一种文本数据处理方法，包括：

获取待处理文本数据；

基于相似度检测算法，确定上述待处理文本数据的特征值；

依次使用第一缓存数据库中存储的多个第一文本数据的特征值与上述待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及

响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定上述待处理文本数据为目标文本数据。

根据本公开的实施例，上述方法还包括：

在计算得到的所有第一相似度数值均大于上述第一预设值的情况下，从第二缓存数据库中随机选择预设数量的文本数据，得到多个第二文本数据；

使用多个上述第二文本数据的特征值分别与上述待处理文本数据的特征值进行相似度计算，得到多个第二相似度数值；

基于多个上述第二相似度数值，确定第三文本数据的数量，其中，上述第三文本数据包括上述第二相似度数值小于或等于上述第一预设值的上述第二文本数据；

在上述第三文本数据的数量小于第二预设值的情况下，将上述待处理文本数据存储至上述第二缓存数据库中；以及

在上述第三文本数据的数量大于或等于上述第二预设值的情况下，将上述第二缓存数据库中的上述第三文本数据删除，并确定上述待处理文本数据和上述第三文本数据为目标文本数据。

根据本公开的实施例，上述方法还包括：

在将上述待处理文本数据存储至上述第二缓存数据库时，基于系统时间和预设时长为上述待处理文本数据设置时间标识。

根据本公开的实施例，上述方法还包括：

轮询上述第二缓存数据库中的文本数据的时间标识；

在当前文本数据的时间标识表征的时间晚于当前系统时间的情况下，从上述第二缓存数据库中提取上述当前文本数据；以及

将上述当前文本数据存储至数据库中。

根据本公开的实施例，上述方法还包括：

将上述目标文本数据存储至上述第一缓存数据库中。

根据本公开的实施例，上述方法还包括：