[发明专利]数据去重方法、装置、设备及介质

说明书

本申请公开了一种数据去重方法、装置、设备及介质，该方法包括获取服务器发送的样本库以得到本地样本库；获取目标请求并将其添加至预设数据库中的请求队列；获取预设数据库发送的目标子队列；目标子队列中的请求为当前请求队列中的位于目标请求之前的所有请求；判断与目标请求对应的目标样本是否与目标子队列所对应的样本相似，若相似则禁止写入本地样本库，若均不相似则判断目标样本是否与本地样本库中的样本相似；若与本地样本库中的样本相似则禁止写入本地样本库，若均不相似则写入本地样本库。通过上述方案，可以允许并行地获取写入请求并进行相应的去重处理，从而实现在避免样本库出现相似样本数据的情况下有效地提升样本入库效率的效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种数据去重方法、装置、设备及介质。

背景技术

现有的推荐系统中，通常会保存有由内容中心提供的样本库。推荐系统基于上述样本库中保存的样本数据，向用户进行内容推荐。

为了避免推荐系统向用户推荐重复的内容，需要保证上述样本库中不存在相似的样本数据。现有技术中，为了实现该效果，常用的方案是在获取到一定数量的待入库样本之后，便在上述待入库样本与当前样本库中的样本之间进行去重处理，并且在这个去重过程中，不允许接收新的待入库样本，直到上述去重过程结束为止才允许接收新的待入库样本。这是因为，一旦在上述去重过程中接收到新的待入库样本，那么由于此时前一批待入库样本正在与样本库进行比对，所以会导致错过了新接收到的待入库样本与前一批待入库样本之间的去重处理，这样一来，如果新接收到的待入库样本与前一批待入库样本之间存在相似的样本数据，很有可能会因此导致后续样本库出现相似的样本数据，从而引起内容重复推荐的情形。然而，现有技术中，需要在待入库样本与样本库之间的去重过程结束之后才能允许接收新的待入库样本，这在很大程度上制约了样本入库效率的提高。

发明内容

有鉴于此，本申请的目的在于提供一种数据去重方法、装置、设备及介质，能够在避免样本库出现相似样本数据的情况下，有效地提升样本入库效率。其具体方案如下：

为实现上述目的，一方面，本申请提供了一种数据去重方法，包括：

获取服务器发送的样本库，以得到本地样本库；

获取目标请求，并将所述目标请求添加至预设数据库中的请求队列；

获取所述预设数据库发送的目标子队列；所述目标子队列中的请求为当前所述请求队列中的位于所述目标请求之前的所有请求；

判断所述目标请求对应的目标样本是否与所述目标子队列所对应的样本相似，若相似，则禁止将所述目标样本写入所述本地样本库，若均不相似，则判断所述目标样本是否与所述本地样本库中的样本相似；

若所述目标样本与所述本地样本库中的样本相似，则禁止将所述目标样本写入所述本地样本库，若所述目标样本与所述本地样本库中的样本均不相似，则将所述目标样本写入所述本地样本库。

又一方面，本申请还提供了一种数据去重装置，包括：

样本库获取模块，用于获取服务器发送的样本库，以得到本地样本库；

请求获取模块，用于获取目标请求；

请求入队模块，用于将所述目标请求添加至预设数据库中的请求队列；

队列获取模块，用于获取所述预设数据库发送的目标子队列；所述目标子队列中的请求为当前所述请求队列中的位于所述目标请求之前的所有请求；

队列去重模块，用于判断所述目标请求对应的目标样本是否与所述目标子队列所对应的样本相似；

样本库去重模块，用于当所述目标样本与所述目标子队列所对应的样本相似，则禁止将所述目标样本写入所述本地样本库，当所述目标样本与所述目标子队列所对应的样本均不相似，则判断所述目标样本是否与所述本地样本库中的样本相似；