[发明专利]一种流数据的实时分析处理方法及系统

说明书

技术领域

本发明涉及数据分析领域，尤其涉及一种流数据的实时分析处理方法及系统。

背景技术

随着移动互联网的迅猛发展，大数据时代的到来，需要实时分析处理的数据也越来越多，现有的处理数据的方法包括以下几个步骤：数据接入、数据汇聚、数据沉淀和数据可视化展现，现有的数据处理平台通常是根据业务需求将流数据处理方法结合实时分析脚本搭建的数据处理平台，这种数据处理平台需要大量的人力成本去解读业务需求、开发分析脚本，具有开发成本高、开发难度大的缺点。现有的数据处理平台在面临大规模的数据处理和复杂多样的业务场景时，具有以下的问题：

1、流数据实时分析处理平台开发难度大，需要熟悉各种技术组件的接口及编程规范，每个业务脚本都需要进行大量的编码和测试。

2、通过提交业务规则文档给技术人员进行业务配置的流程长，比较繁琐，需要技术人员再进行业务规则的二次解读，无法高效的进行业务的配置。

3、无法对数据进行及时地数据可视化展现。

发明内容

本发明所要解决的技术问题是针对数据处理系统开发成本高、开发难度大、业务配置效率低且无法对数据进行及时地数据可视化展现的问题，提供一种流数据的实时分析处理方法及系统。

本发明解决上述技术问题的技术方案如下：

一种流数据的实时分析处理方法，包括以下步骤：

步骤1，获取通过图形化配置工具配置的图形化处理规则，将所述处理规则转换成sql语句；

步骤2，获取需要进行实时分析处理的流数据；

步骤3，从所述流数据中提取关键字段；

步骤4，根据所述关键字段绘制宽表；

步骤5，根据所述sql语句和所述宽表对所述流数据进行实时分析处理。

本发明的有益效果是：本发明提供的一种流数据的实时分析处理方法，通过获取通过图形化配置工具配置的处理规则，将处理规则转换为sql语言，再获取流数据，根据流数据绘制宽表，结合sql化的规则和宽表对流数据进行处理，解决了当前数据实时分析处理系统脚本编程复杂、资源无法高效使用、业务配置繁琐的问题，可以有效地提高开发效率，通过图形化配置工具配置处理规则，无需通过技术人员确认口径是否准确、如何转化成专业的技术语言，提高了业务配置的效率，解决了业务人员一直存在的不能够自主配置业务口径的问题。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述处理规则由预先设置好的运算符号、逻辑符号和业务原子指标根据实际业务需求组合而成，其中，所述运算符号为用于进行数学运算的符号，所述逻辑符号为用于进行逻辑运算的符号，所述业务原子指标为通过对流数据中的与业务相关的业务指标进行分解得到的底层元数据。

进一步地，步骤2还包括：

步骤21，从所述流数据中提取多个业务指标的单表增量数据；

步骤22，将多个所述业务指标的单表增量数据与对应的存量数据存放在相同的位置中，得到多个所述业务指标的单表增存数据；

步骤23，将多个所述业务指标的单表增存数据进行整合，使整合后的所有业务指标的单表增存数据有共同的唯一主键。

采用上述进一步方案的有益效果是：通过对原始的流数据进行数据汇聚和数据整合，再对处理过的数据进行实时分析，能够提高实时分析处理的效率，同时便于处理过程中数据的可视化显示。

进一步地，步骤5中，通过HIVE平台对所述流数据进行实时分析处理。

进一步地，步骤5具体包括：

步骤5.1，获取HIVE源表；

步骤5.2，根据业务需求对所述HIVE源表进行整合；

步骤5.3，将所述宽表加载到所述HIVE源表中；

步骤5.4，通过python脚本加载所述sql语句；

步骤5.5，根据所述HIVE源表加载所述流数据；

步骤5.6，根据所述sql语句对所述流数据进行处理。

进一步地，还包括：

步骤6，对进行实时分析处理的所述流数据进行实时的可视化显示。

本发明解决上述技术问题的另一种技术方案如下：

一种流数据的实时分析处理系统，包括：

规则配置模块，用于获取通过图形化配置工具配置的图形化处理规则；

规则转换模块，用于将所述处理规则转换成sql语句；

数据处理模块，用于获取需要进行实时分析处理的流数据；

宽表生成模块，用于从所述流数据中提取关键字段，并根据所述关键字段绘制宽表；