[发明专利]一种实时ETL数据流转换处理技术方法与系统

说明书

技术领域

本发明涉及大数据实时流处理技术领域，尤其是一种实时ETL数据流转换处理技术方法与系统。

背景技术

ETL是描述来源经过抽取，转换到目标端的过程，用于构造数据仓库，JStorm是一个分布式实时计算引擎，类似Hadoop MapReduce的系统，用户按照规定的编程规范实现一个任务，然后将这个任务递交给JStorm系统，并且按7*24小时运行起来，一旦中间一个worker发生意外故障，调度器立即分配一个新的worker替换这个失效的worker。因此，从应用的角度，JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度，JStorm一套类似MapReduce的调度系统。从数据的角度，是一套基于流水线的消息处理机制。

随着大数据的兴起，企业越来越重视数据实时数据相关处理，从日志或者应用程序拉取到的数据如何规整、转换和加载成为关键点，而目前传统的ETL处理技术并不能在线实时处理，并且存在单点问题，在海量数据来临时，每秒处理量，以及占用操作系统资源较大，且不能动态调整资源；传统的ETL转换并不能实时生效，当前配置的转换策略，需要重启转换程序才可生效；传统ETL配置的策略不够灵活，一旦数据源改变，字段增删改后，程序的配置策略比较复杂；传统的转换可靠性得不到保障，主机的网络顺断，会导致任务失败。

发明内容

本发明要解决的技术问题是：为了解决在大数据转换领域不能实时有效对数据标准化、转换，并且存在单点问题浪费资源占用；同时由于JStorm任务都是硬编码，不能实时改变且不能动态调整资源问题，本发明提供了一种实时ETL数据流转换处理技术方法，包括处理方法的各个步骤，提供一种拓扑图配置，内部转化器转成类SQL，配置灵活；并且在网络中断，机器宕机的情况下依旧可以工作，保障数据转换的稳定性；同时内部处理模块提供一种动态配置的转换的方式，有效的解决了现有在大数据转换领域不能实时有效对数据标准化、转换，并且存在单点问题浪费资源占用；同时由于JStorm任务都是硬编码，不能实时改变且不能动态调整资源问题。

本发明解决其技术问题所采用的技术方案是：

一种实时ETL数据流转换处理技术方法，包括如下具体步骤：

1)首先进行数据标准化，将各种日志数据标准化成日志模板，系统性能指标和业务指标标准化成指标模板；

2)把上述的标准数据Avro序列化放入到kafka消息队列；

3)Jstorm的kafka Spout模块从kafka队列中反序列化出数据，根据配置的SQL区分不同的模板，并分发到不同的分布式节点，格式化成内部SQL处理引擎的输入源；

4)利用内部计算引擎的实时统计做统计计算；

5)利用内部计算引擎类SQL语句，进行数据合并、数据拆分和数据验证；

6)经过Jstorm和内部计算引擎出来，可支持阈值报警，或者右输出到kafka用于其他用途。

进一步地，在步骤1)中，模板主要包括时间戳、维度、度量值、附加值。

进一步地，在步骤4)中，支持实时count，sum，group by操作。

进一步地，在步骤5)中，数据合并：多指标关联实现相交用join；数据拆分：按一定规则进行数据拆分；数据验证：查询关键字、去除无关记录。

进一步地，Jstorm集群支持动态扩展，zookeeper实时通知动态更新配置。

一种采用实时ETL数据流转换处理技术方法的系统，实时ETL数据流转换处理系统包括Web服务和Jstorm处理模块，其中，Web服务包括zookeeper通知模块、Sql配置模块和数据标准化模块；Jstorm处理模块包括zk client实时通知模块、反序列化模块、SQL执行模块、拉取和输出kafka模块、实时更新配置Sql模块和异常处理模块。