[发明专利]一种数据过滤引擎及系统和过滤方法

权利要求书

1.一种数据过滤引擎，包括：

规则解释器，经配置用于将过滤规则转化为对应的代码树，所述代码树至少包括一个UDF；以及

过滤模块，经配置用于调用所述过滤规则中的UDF处理原始数据，根据每一条过滤规则中最终UDF的输出值确定所述原始数据是否符合所述过滤规则。

2.根据权利要求1所述的数据过滤引擎，所述规则解释器包括：

规则分析单元，经配置用于从过滤规则中识别出符合语法规则的函数关键字；以及

函数匹配单元，经配置用于通过匹配所述函数关键字和已注册的UDF，确定与所述过滤规则对应的UDF；以及

代码树生成单元，经配置用于根据已确定的UDF生成过滤规则的代码树。

3.根据权利要求1或2所述的数据过滤引擎，所述代码树的结构包括UDF名称，类型和参数列表三个元素，其中，类型和参数列表可以为空。

4.根据权利要求1或2所述的数据过滤引擎，还包括：

规则加载模块，经配置用于根据规则加载参数加载过滤规则，并将所述过滤规则传递给所述规则解释器。

5.根据权利要求4所述的数据过滤引擎，还包括：

配置加载模块，经配置用于加载所述规则加载参数、将过滤规则转化为对应的代码树时使用的参数和过滤模块使用的过滤参数。

6.根据权利要求1所述的数据过滤引擎，还包括：

UDF加载模块，经配置用于加载过滤规则代码树中的UDF。

7.一种数据过滤系统，包括：

系统配置模块，经配置用于配置所述规则加载参数、将过滤规则转化为对应的代码树时使用的参数和过滤参数；

UDF模块，经配置用于获取并注册一个以上的UDF；以及

数据过滤引擎，经配置用于将根据规则加载参数加载的过滤规则转化为代码树，根据过滤参数读取原始数据，调用代码树中的UDF处理所述原始数据。

8.一种规则转换方法，包括：

对一条过滤规则进行词义、语法和语义的分析，从中提取出函数关键字；

将所述函数关键字与已知UDF进行匹配，识别出与所述过滤规则对应的UDF；以及

根据识别出的UDF生成代码树，所述代码树至少包括一个UDF。

9.根据权利要求8所述的规则转换方法，所述代码树的结构包括UDF名称，类型和参数列表，其中，类型和参数列表可以为空。

10.根据权利要求9所述的规则转换方法，所述代码树为一层或一层以上结构，当所述代码树为一层以上结构时，当前结构层的参数列表中包括下一结构层的UDF名称，类型和参数列表。

11.根据权利要求9所述的规则转换方法，所述参数列表包括多个参数，所述参数为变量、常量和特定文件名中的一者或多者。

12.一种数据过滤方法，包括：

调用过滤规则中的UDF分别处理一条原始数据；以及

根据每一条过滤规则中最终UDF的输出值确定所述原始数据是否符合所述过滤规则。

13.根据权利要求12所述的数据过滤方法，进一步包括：

在所述原始数据符合一条过滤规则时，标记所述原始数据为无用数据；以及

在所述原始数据不符合全部过滤规则时，标记所述原始数据为有用数据。

14.根据权利要求12或13所述的数据过滤方法，其中，所述每一条过滤规则中最终UDF为“是”与“非”的逻辑判断函数，进一步包括：在每一条过滤规则中最终UDF的输出值为“是”时，确定所述原始数据符合所述过滤规则；在每一条过滤规则中最终UDF的输出值为“非”时，确定所述原始数据符合所述过滤规则