[发明专利]使用复杂条件从数据源进行数据过滤的方法和系统

说明书

【技术领域】

本发明涉及数据过滤方法和系统，尤其涉及使用复杂条件从数据源进行数据过滤的方法和系统，属于数据处理技术领域。

【背景技术】

随着社会发展和时代进步，人们在现代生活中的各种交易活动也日益地增多，例如，金融业务交易、水电气等公共事业交易和网络支付交易等等。然而，与此同时，交易行为的类型及其业务逻辑规则也更为复杂。目前，当需要使用复杂条件(是指由多个条件进行多层次、高耦合性的逻辑关系组合)从数据源进行数据过滤的处理时，现有技术一般是通过直接在业务系统处理程序中修改过滤条件和过滤逻辑来实现的。例如，如果需要将数据过滤中的原条件1改为新条件2时，就直接在该业务系统处理程序中完成相应的修改。

尽管采用上述处理方法，有时确实是非常方便和快捷，然而不容忽视的是，这种处理方法实际上是将整个系统的数据过滤条件完全混杂在一起，根本没有对数据过滤的处理逻辑进行严格的限定，从而使得业务处理之间存在着非常强的耦合性，甚至不确定性。具体而言，上述处理方法以及采用该方法的系统存在着以下这些缺点：

1、抗变更能力弱。如果存在针对过滤条件取值的变动，则需要更改相当复杂困难，有时甚至根本无法进行修改；

2、扩展性非常差。如果存在针对过滤条件的增加、删除，则对原有系统的影响相当大，因此不容易被融合在原有系统中；

3、维护性非常差。由于复杂条件完全混杂在一起，所以致使其非常不容易被理解，而且维护起来相当麻烦，需要投入大量的人力和物力；

4、复用性非常差。由于过滤条件与过滤处理逻辑被糅合在一起，因此几乎不能被复用，从而造成对现有资源的严重浪费。

【发明内容】

有鉴于此，本发明的目的在于提供使用复杂条件从数据源进行数据过滤的方法和系统，以有效地解决现有的处理方法及系统中存在的扩展性、维护性和复用性都非常差以及抗变更能力弱等诸多问题。

为实现上述发明目的，本发明采用的技术方案如下：

一种使用复杂条件从数据源进行数据过滤的方法，其包括如下步骤：

A、将每种类型数据过滤所用的筛选条件转换成由若干个过滤组相互之间以相同逻辑关系进行组合的形式，所述过滤组包括若干个彼此之间以同一逻辑关系进行组合且均为单一过滤要素的过滤条件，并将所得到的过滤组及其过滤条件之间的组合关系记载于数据库表中；

B、将当前数据过滤所用筛选条件的取值写入所述数据库表中；

C、查询所述数据库表获得当前数据过滤中的各过滤条件要求，并依次从数据源中筛选出符合当前数据过滤中的各过滤组要求的初选数据；以及

D、根据所述过滤组之间的逻辑关系以及所述初选数据，从数据源中获得符合当前数据过滤要求的数据。

优选地，在上述的技术方案中，所述过滤组相互之间的逻辑关系是“或”，所述过滤条件彼此之间的逻辑关系是“与”。

优选地，在上述的技术方案中，所述数据库表包括：

过滤组组合定义表，其用于记载每种类型数据过滤所包括的过滤组的信息，所述过滤组的信息至少包括过滤组的编号、过滤组内各过滤条件的分类号，并且每一个过滤组的编号是唯一的；

过滤组算法定义表，其用于记载所述过滤组的具体信息，所述具体信息至少包括过滤组内各过滤条件的分类号及其过滤方式；以及

过滤组取值表，其用于记载所述过滤组内各过滤条件的分类号、各过滤条件的具体取值。

优选地，在上述的技术方案中，所述具体信息还包括对所述过滤组内各过滤条件的描述。

优选地，在上述的技术方案中，所述过滤方式包括过滤条件类型和黑白名单标识，所述过滤条件类型是指过滤出唯一数值或者一个数值范围，所述黑白名单标识是指使用黑名单或者白名单的选定方式来选中符合要求的数据。

优选地，在上述的技术方案中，所述具体取值包括过滤条件最小值和过滤条件最大值，并且当所述过滤组算法定义表中的所述过滤条件类型为过滤出唯一数值时，所述过滤条件最小值与所述过滤条件最大值相同。

优选地，在上述的技术方案中，所述过滤组取值表还包括用于记载所需要的附加数据的字段。

优选地，在上述的技术方案中，所述步骤C具体包括：

步骤C1、判断在所述过滤组组合定义表中是否存在第一个过滤组的记录？如果不存在则结束，否则进入步骤C2；

步骤C2、根据当前过滤组的编号，在所述过滤组组合定义表中找出该过滤组中第一个过滤条件的分类号；