[发明专利]一种实时ETL数据流转换处理技术方法与系统

权利要求书

1.一种实时ETL数据流转换处理技术方法，其特征在于：包括如下具体步骤：

1)首先进行数据标准化，将各种日志数据标准化成日志模板，系统性能指标和业务指标标准化成指标模板；

2)把上述的标准数据Avro序列化放入到kafka消息队列；

3)Jstorm的kafka Spout模块从kafka队列中反序列化出数据，根据配置的SQL区分不同的模板，并分发到不同的分布式节点，格式化成内部SQL处理引擎的输入源；

4)利用内部计算引擎的实时统计做统计计算；

5)利用内部计算引擎类SQL语句，进行数据合并、数据拆分和数据验证；

6)经过Jstorm和内部计算引擎出来，可支持阈值报警，或者右输出到kafka用于其他用途。

2.如权利要求1所述的一种实时ETL数据流转换处理技术方法，其特征在于：在步骤1)中，模板主要包括时间戳、维度、度量值、附加值。

3.如权利要求1所述的一种实时ETL数据流转换处理技术方法，其特征在于：在步骤4)中，支持实时count，sum，group by操作。

4.如权利要求1所述的一种实时ETL数据流转换处理技术方法，其特征在于：在步骤5)中，数据合并：多指标关联实现相交用join；数据拆分：按一定规则进行数据拆分；数据验证：查询关键字、去除无关记录。

5.如权利要求1所述的一种实时ETL数据流转换处理技术方法，其特征在于：Jstorm集群支持动态扩展，zookeeper实时通知动态更新配置。

6.一种采用如权利要求1-5所述的实时ETL数据流转换处理技术方法的系统，其特征在于：实时ETL数据流转换处理系统包括Web服务和Jstorm处理模块，其中，Web服务包括zookeeper通知模块、Sql配置模块和数据标准化模块；Jstorm处理模块包括zk client实时通知模块、反序列化模块、SQL执行模块、拉取和输出kafka模块、实时更新配置Sql模块和异常处理模块。