[发明专利]数据过滤系统和方法

说明书

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于模块自由式重组的数据过滤系统和方法。

背景技术

现有的数据过滤分为三种：

第一种过滤方式是完全静态的，在进行数据过滤时是基于程序指令中既定的过滤条件进行过滤；

第二种是过滤方式是全开放式的动态过滤，例如一个过滤条件为＜＝9，“＜＝”作为过滤参数和“9”作为过滤参数值都将接受来自外部的任意输入，但一旦外部输入的过滤参数不符合被过滤的数据项的逻辑属性，会导致数据过滤无法实施，例如被过滤数据项的值为时间字符串，但过滤条件却被动态设置成小于某一个整数值；

第三种是过滤方式是半开放式的动态过滤，即通过模板雏形限定过滤参数的外部输入，开放过滤参数值的输入，解决过滤参数常与数据模板雏形的参数不一致问题，即保证过滤参数符合被过滤数据项的逻辑属性。例如见申请号为200910249725.3的中国专利申请公开的数据过滤方法。

现有的数据通常具有多种属性特性。例如以银行卡交易数据为例，其具有交易金额属性、交易类型属性、发卡机构属性等。用户通常需要根据需要来对不同的属性特性以不同的条件进行数据过滤。现有技术在处理数据过滤时，通过模板雏形方式限定过滤参数的选择，接收过滤参数值动态录入系统的过滤方式最为常见，但其过滤模板通常为事先定制，且与应用系统本身进行了紧密耦合，不能根据现实数据特征对过滤项进行自由重组和顺序调整，无法满足业务的发展变化，其过滤需求不断发生变化时，后续的分析数据在一定程度上将产生数据冗余，失去了其过滤筛选的意义。

另外，正因为现有的数据过滤机制，通常基于既定的过滤模板，与应用系统进行了紧密耦合，其无法单独剥离进行自由重组的现状，导致一旦业务发生变化、数据分析机制产生新需求时，带来的损失将是系统级别上的大规模源程序修订，并造成应用系统资源的重复投入。

发明内容

有鉴于此，本发明的目的在于提供一种数据过滤方法和系统，能够动态地生成过滤条件来实现数据的过滤分析。

本发明提供一种数据过滤系统，包括：

抽取单元，用于抽取源数据的属性特征并发送至选择单元；

选择单元，选择至少一个根据其进行数据过滤的属性特征并将所选择的属性特征发送至过滤条件生成单元；

过滤条件生成单元，根据所选择的至少一个属性特征生成与所述至少一个属性特征一一对应的至少一个过滤模块、组合所述至少一个过滤模块以生成过滤条件；

数据过滤分析单元，根据过滤条件对源数据进行过滤从而生成目标数据。

优选地，在本发明的数据过滤系统中，所述过滤条件生成单元包括：

过滤项生成模块，接收所选择的至少一个属性特征、生成至少一个过滤项并将其发送至过滤模块生成模块，其中每个过滤项包括过滤项名称、过滤方式、与所选择的属性特征一一对应的过滤域、匹配方式和过滤参数值；

过滤模块生成模块，生成至少一个过滤模块并将其发送至控制模块，其中所述过滤模块与所述过滤项一一对应；

控制模块，组合所述至少一个过滤模块以生成过滤条件。

优选地，在本发明的数据过滤系统中，所述过滤条件生成单元包括：

过滤项生成模块，接收所选择的至少一个属性特征并生成至少一个过滤项并将其发送至过滤模块生成模块，其中每个过滤项包括过滤项名称、过滤项优先级、过滤方式、与所选择的属性特征一一对应的过滤域、匹配方式和过滤参数值；

过滤模块生成模块，生成至少一个过滤模块并将其发送至控制模块，其中所述过滤模块与所述过滤项一一对应；

控制模块，根据所述过滤项优先级组合所述至少一个过滤模块以生成过滤条件。

优选地，在本发明的数据过滤系统中，所述过滤方式包括过滤保留参数和过滤剔除参数，其中

过滤保留参数表示保留符合该过滤项的数据；

过滤剔除参数表示剔除符合该过滤项的数据。

优选地，在本发明的数据过滤系统中，匹配方式包括全字匹配、头部匹配、尾部匹配、模糊匹配或区间匹配。

优选地，在本发明的数据过滤系统中，所述系统还包括输入装置，与选择单元和过滤条件生成单元相连，用于输入所需要的信息。

优选地，在本发明的数据过滤系统中，所述系统还包括显示单元，与抽取单元和过滤条件生成单元相连，用于显示来自抽取单元和过滤条件生成模块的信息。

本发明还提供一种数据过滤方法，包括以下步骤：

A1、抽取源数据的属性特征；