[发明专利]基于Storm的可变逻辑的通用数据处理系统及方法

权利要求书

1.一种基于Storm的可变逻辑的通用数据处理系统，其特征在于，包括：

异构数据源标准化服务器，用于对异构数据进行多维度标准化处理，以实现约束和逻辑处理的封装；

流式拓扑结构，由多个不同的数据源、处理单元、以及约束和逻辑系统组成，并通过数据流连接起来，其中所述约束和逻辑系统中的约束和处理逻辑封装在逻辑配置文件中，用于更新及存储所述约束和处理的逻辑关系；

Zookeeper，用于开源管理所述流式拓扑结构；

监听模块，连接于所述逻辑配置文件与所述Zookeeper之间，并将所述逻辑配置文件中的更新动态发送给所述Zookeeper进行同步；

Web端界面，连接于所述Zookeeper与所述逻辑配置文件，用于对所述Zookeeper中的信息进行监控，以及通过逻辑配置文件对所述约束和逻辑系统中的逻辑关系进行更新。

2.如权利要求1所述的基于Storm的可变逻辑的通用数据处理系统，其特征在于，所述约束逻辑，用于记录并管理流处理中Spout和Bolt的各种权限和约束，使其至少包含权限、分支判断、信息判断、普通约束表达式中的一种或多种。

3.如权利要求1所述的基于Storm的可变逻辑的通用数据处理系统，其特征在于，所述处理逻辑，用于把转换中的动作扩展为处理逻辑，并在所述逻辑配置文件中进行修改。

4.如权利要求1所述的基于Storm的可变逻辑的通用数据处理系统，其特征在于，所述约束和逻辑系统中还包括逻辑配置文件解释器，用于实现配置文件到java代码的转化。

5.如权利要求4所述的基于Storm的可变逻辑的通用数据处理系统，其特征在于，所述实现配置文件到java代码的转化方法，包括：

利用java编写逻辑配置文件的代码生成器；或

在java中预定义各种逻辑情况，在读取所述配置文件时，分析配置文件的逻辑，并将参数传入已写好的java函数中。

6.一种基于Storm的可变逻辑的通用数据处理系统，其特征在于，包括如下步骤：

S1:在Eclipse中写好需要的Spout和Bolt；

S2:在web端编辑Spout和Bolt之间的数据流网络和处理逻辑；

S3:将任务提交到Storm集群中，Spout和Bolt首先读取逻辑配置文件，调用逻辑解释程序解释配置文件中的逻辑，然后开始和传统的Storm一样运行；

S4:Monitor定时检查Logic.xml文件的修改情况，如果修改，Monitor通知Zookeeper，Zookpeer通知Spout和Bolt，逻辑配置文件已经修改；

S5:Spout和Bolt收到通知后，重新加载Logic.xml文件，解释配置文件中的逻辑，按照新的逻辑在Storm集群中运行。