[发明专利]基于Storm的可变逻辑的通用数据处理系统及方法

说明书

技术领域

本发明涉及大数据分析，尤其涉及一种基于Storm的可变逻辑的通用数据处理系统及方法。

背景技术

随着传统互联网的高速发展和移动互联网的崛起引领大数据时代的到来，流数据(streaming data)的应用模型广泛出现在众多领域，如金融应用、网络监视、通信数据管理、Web应用及传感器网络数据处理等。这类应用的特征是：数据不宜使用持久稳定关系建模，而适宜用瞬态数据流建模。近年来，业界也出现不少实时流数据计算系统，包括Yahoo！S4、Twitter Storm、IBM StreamBase、以及学术界开源的Borealis等。其中Storm因为其规整的编程模型、多语言支持、简单的水平扩展和可靠、高效的流处理得到广泛应用，国内主要的互联网企业，如阿里、百度和腾讯等，都在其内部系统中广泛部署基于Storm的流处理系统。

以图1的Topology结构示意图为例，在Storm中一个实时应用的计算任务被打包作为Topology发布。Topology由不同的数据源(Spouts)和处理单元(Bolts)组成，并通过数据流(Stream Data)连接。基于Topology的流处理模型将业务逻辑封装在Spout和Bolt中，这样可以高效的执行流数据计算任务。但业务逻辑一旦出现改变，就不得不终止现有流计算任务，修改现有Spout或者Bolt中业务逻辑的代码，然后重新编译、打包为新的Topology计算任务，再把原有的Topology计算任务结束掉。这样虽然可以解决新的业务需求，但是企业不得不暂时关闭相关流数据服务来支撑新的业务逻辑改变，对企业会产生较大损失。

因此，如何改变解决现有流数据的通用性差、不支持在线调整或更改的问题，就成为流数据发展的一大研发课题。

发明内容

有鉴于此，我们提供一种基于Storm的可变逻辑的通用数据处理系统及方法，用于解决上述问题。

本发明的一种基于Storm的可变逻辑的通用数据处理系统，包括：异构数据源标准化服务器，用于对异构数据进行多维度标准化处理，以实现约束和逻辑处理的封装；流式拓扑结构，由多个不同的数据源(GSpout)、处理单元(GBolts)、以及约束和逻辑系统组成，并通过数据流连接起来，其中所述约束和逻辑系统中的约束和处理逻辑封装在逻辑配置文件中，用于更新及存储所述约束和处理的逻辑关系；Zookeeper，用于开源管理所述流式拓扑结构；监听模块，连接于所述逻辑配置文件与所述Zookeeper之间，并将逻辑配置文件中的更新动态发送给所述Zookeeper进行同步；Web端界面，连接于所述Zookeeper与所述逻辑配置文件，用于对所述Zookeeper中的信息进行监控，以及通过逻辑配置文件对所述约束和逻辑系统中的逻辑关系进行更新。

优选地，所述约束逻辑，用于记录并管理流处理中Spout和Bolt的各种权限和约束，使其包含权限、分支判断、信息判断、普通约束表达式。

优选地，所述处理逻辑，用于把转换中的动作扩展为处理逻辑，在所述逻辑配置文件中进行修改。

优选地，所述约束和逻辑系统中还包括逻辑配置文件解释器，用于实现配置文件到java代码的转化。

优选地，所述实现配置文件到java代码的转化方法，包括：利用java编写逻辑配置文件的代码生成器；或在java中预定义各种逻辑情况，在读取所述配置文件时，分析配置文件的逻辑，并将参数传入已写好的java函数中。

本发明还提供一种基于Storm的可变逻辑的通用数据处理系统，包括如下步骤：在Eclipse中写好需要的Spout和Bolt(继承GSPout和GBolt)；在web端编辑Spout和Bolt之间的数据流网络和处理逻辑(xml文件定义)；将任务提交到Storm集群中，Spout和Bolt首先读取逻辑配置文件(Logic.xml)，调用逻辑解释程序解释配置文件中的逻辑，然后开始和传统的Storm一样运行；Monitor定时检查Logic.xml文件的修改情况，如果修改，Monitor通知Zookeeper，Zookpeer通知Spout和Bolt，逻辑配置文件已经修改；Spout和Bolt收到通知后，重新加载Logic.xml文件，解释配置文件中的逻辑，按照新的逻辑在Storm集群中运行。