[发明专利]数据过滤方法及装置

说明书

本申请公开了一种数据过滤方法及装置。该方法包括：接收过滤请求，其中，过滤请求中携带有过滤条件，过滤条件中包括第一过滤条件和第二过滤条件，第一过滤条件用于在原始的数据表中进行过滤，第二过滤条件用于在非原始的数据表中进行过滤；根据第一过滤条件对原始的数据表进行过滤；对过滤后的原始的数据表进行去重处理，得到临时表；以及根据第二过滤条件对临时表进行过滤。通过本申请，解决了相关技术中在查询指标数据时引起系统性能开销较大，导致过滤效率较低的问题。

技术领域

本申请涉及数据过滤领域，具体而言，涉及一种数据过滤方法及装置。

背景技术

对于类似订单表这样的数据，会存在很多订单状态的变更，每一次订单状态的变更，都会在系统里记录一个状态数据，因此一个订单具有多条记录。在查询订单量这些指标时，相同的订单ID只需要计算一次，因此，需要对一个订单的多条记录进行去重处理。为了进行去重处理，相关技术中采用的方法为：为订单表，添加一个去重的视图，在查询时直接在去重的视图中进行查询。例如，在对视图进行查询时，先将全部的订单数据进行去重后，再用时间来进行过滤，随着历史数据的越来越多，对整个订单量数据进行去重的性能开销也会越来越大，导致过滤效率也较低。

针对相关技术中在查询指标数据时引起系统性能开销较大，导致过滤效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据过滤方法及装置，以解决相关技术中在查询指标数据时引起系统性能开销较大，导致过滤效率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据过滤方法。该方法包括：接收过滤请求，其中，过滤请求中携带有过滤条件，过滤条件中包括第一过滤条件和第二过滤条件，第一过滤条件用于在原始的数据表中进行过滤，第二过滤条件用于在非原始的数据表中进行过滤；根据第一过滤条件对原始的数据表进行过滤；对过滤后的原始的数据表进行去重处理，得到临时表；以及根据第二过滤条件对临时表进行过滤。

进一步地，根据第一过滤条件对原始的数据表进行过滤包括：获取第一过滤条件中涉及的维度；以及基于第一过滤条件中涉及的维度对原始的数据表进行过滤。

进一步地，对过滤后的原始的数据表进行去重处理，得到临时表包括：确定过滤后的原始的数据表中相同的指标；对过滤后的原始的数据表中相同的指标进行去重处理；将去重处理后的数据表作为临时表。

进一步地，在根据第二过滤条件对临时表进行过滤之后，该方法还包括：接收查询请求，其中，查询请求中包括维度和指标，指标为查询请求指示查询的内容，维度为查询请求指示限制查询内容的限制条件；根据过滤后的临时表、查询请求中的维度和指标生成查询语言；基于查询语言在过滤后的临时表中进行数据查询。

进一步地，查询语言为SQL语言。

为了实现上述目的，根据本申请的另一方面，提供了一种数据过滤装置。该装置包括：第一接收单元，用于接收过滤请求，其中，过滤请求中携带有过滤条件，过滤条件中包括第一过滤条件和第二过滤条件，第一过滤条件用于在原始的数据表中进行过滤，第二过滤条件为不能对原始的数据表中进行过滤的条件；第一过滤单元，用于根据第一过滤条件对原始的数据表进行过滤；去重单元，用于对过滤后的原始的数据表进行去重处理，得到临时表；以及第二过滤单元，用于根据第二过滤条件对临时表进行过滤。

进一步地，第一过滤单元包括：获取模块，用于获取第一过滤条件中涉及的维度；以及过滤模块，用于基于第一过滤条件中涉及的维度对原始的数据表进行过滤。

进一步地，去重单元包括：第一确定模块，用于确定过滤后的原始的数据表中相同的指标；去重模块，用于对过滤后的原始的数据表中相同的指标进行去重处理；第二确定模块，用于将去重处理后的数据表作为临时表。