[发明专利]数据过滤方法及系统

说明书

本发明实施例提供了一种数据过滤方法及系统，所述方法包括：获取待过滤原数据；利用预设目标条件对待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中；在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表。本发明实施例，能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据过滤方法及系统。

背景技术

随着人工智能的迅速发展，以预测用户对物品等的评分或偏好度为基础的推荐系统在不同的应用程序中广泛应用，现有推荐系统主要为个性化推荐系统。在视频技术领域中，随着视频制作门槛的降低，大批个人用户参与到视频的制作中，使得大量的UGC(UserGenerated Content，用户原创内容)丰富了视频类型、内容以及展示等的同时，给视频的审核也带来了巨大的挑战。在实现视频个性化推荐过程中，需要对大量的视频数据进行处理，例如，在处理视频数据的过程中，需要对一些不合时宜的视频、话题等非法数据进行过滤。

现有对视频数据进行过滤采用的方法为：预先将不合时宜的视频、话题等非法数据对应的视频id(Identity，身份标识)存储至过滤列表中，进而直接根据该过滤列表对待推荐的视频数据进行过滤，以实现将不合时宜的视频、话题等非法数据从源头下线，从而不会展示在线上。

然而，现有对视频数据的过滤方法中，对过滤列表的依赖性较强，在管理更新过滤列表的运维人员不在或过滤列表出现问题的情况下，可能导致本应下线的非法数据无法下线，进而造成负面影响。

发明内容

本发明实施例的目的在于提供一种数据过滤方法及系统，以实现非法数据的快速、全面下线，减小非法数据无法下线造成的负面影响。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种数据过滤方法，所述方法包括：

获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；

利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；

在所述预设目标条件发生变化的情况下，启动第二层过滤，所述第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从所述推荐池的数据中选取针对所述指定用户的待推荐数据，并利用过滤列表对所述待推荐数据进行第二层过滤，得到所述指定用户的推荐数据列表，其中，所述过滤列表中记录了待过滤的数据，所述预设推荐规则为根据所述指定用户的特征所确定的待向所述指定用户推荐数据的规则。

可选地，在将所述过滤后的数据加入到推荐池中之后，所述方法还包括：

为所述推荐池中的数据配置分发属性，利用所述分发属性对所述推荐池中的数据进行第三层过滤，其中，所述分发属性用于表征所述推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。

可选地，所述方法还包括：

在所述预设目标条件和/或所述过滤列表发生变化的情况下，启动第四层过滤，所述第四层过滤为：在按照所述推荐数据列表组装推荐数据页面前，利用黑名单对所述推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；

按照所述目标推荐数据列表组装推荐数据页面。

可选地，所述方法还包括：

通过所述预设目标条件，对监控平台获取的所述推荐池中的数据进行验证，以确定所述推荐池的数据中是否还包含待过滤的数据；