[发明专利]数据自适应过滤方法及装置

说明书

技术领域

本发明涉及数据处理操作领域，尤其涉及一种数据自适应过滤方法及装置。

背景技术

在数据处理业务中经常遇到如下一种业务状况：数据处理模块需要对收集到的数据按照时间进行清洗过滤。例如，对广告业务而言，需要对收到的数据进行订单-广告位-日期的白名单过滤。订单-广告位-日期的白名单假设我们事先已经建立好，并且由于白名单数据一般都存储在数据库表中，全量查询耗时较长，所以只能查询一段时间内的数据，并且为提高性能考虑，不能每条记录都查询数据库，应该都一次性载入到内存中。如图1所示，将收到的数据流X(t，x)，经过过滤器的过滤后，得到过滤后的输出数据流，其中该输出数据流表示为：F(T)为过滤函数。目前有以下两种数据过滤的方法：第一种，以运行的当前时间now为基准，F(T)＝[now-1，now]的白名单，即检查前2天的白名单，不在白名单中的数据则丢弃；该方法中，F(T)是一个固定的函数。第二种，将时间在程序运行之初以参数T传入，F(T)＝[T-1，T]的白名单，即检查[T-1，T]的白名单，不在白名单中的数据则丢弃。

在实现上述数据过滤的过程中，发明人发现现有技术中至少存在如下问题：对于方法一，当因为种种原因要重新计算前端时间数据的时候，会出现数据全部丢弃的问题。而对于方法二而言，则需要明确知道正在处理的数据是哪个时间点的数据，否则一旦多个时间点的数据混合在一起，就很难处理。总之，由于目前已有的方法中的过滤函数都是事先准备好的过滤函数，导致现有技术中的数据过滤方法的灵活性较差。

发明内容

本发明的实施例提供一种数据自适应过滤方法及装置，能够简单灵活自适应的实现数据的过滤。

为达到上述目的，本发明的实施例采用如下技术方案：

一种数据自适应过滤方法，包括：

读取数据记录，并获取所述数据记录的时间戳；

通过与所述时间戳相关的过滤函数对所述数据记录进行过滤；

将过滤输出的数据记录进行对应的业务处理，并将业务处理结果输出到所述时间戳对应的文件夹中。

一种数据自适应过滤装置，包括：

时间戳获取单元，用于读取数据记录，并获取所述数据记录的时间戳；

过滤单元，用于通过与所述时间戳相关的过滤函数对所述数据记录进行过滤；

业务处理单元，用于将过滤输出的数据记录进行对应的业务处理，将业务处理结果输出到所述时间戳对应的文件夹中。

本发明实施例提供的数据自适应过滤方法及装置，能够在读取数据记录时，获取该数据记录的时间戳，并且在对读取的数据记录进行过滤时，是通过与所述时间戳相关的过滤函数对所述数据记录进行过滤，与现有技术中使用事先准备好的过滤函数对数据记录进行过滤相比，能够简单灵活自适应的实现数据的过滤。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中数据流滤波处理过程示意图；

图2为本发明实施例1中数据自适应过滤方法的流程图；

图3为本发明实施例1中数据流滤波处理过程示意图；

图4为本发明实施例2中数据自适应过滤方法的流程图；

图5为本发明实施例2中确定与所述时间戳相关的预定时间段内的白名单数据是否已加载到内存中的方法流程图；

图6为本发明实施例3中一种数据自适应过滤装置的组成框图；

图7为本发明实施例3中另一种数据自适应过滤装置的组成框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供一种数据自适应过滤方法，如图2所示，该方法包括：

101、读取数据记录，并获取所述数据记录的时间戳。