[发明专利]一种流数据的实时分析处理方法及系统

权利要求书

1.一种流数据的实时分析处理方法，其特征在于，包括以下步骤：

步骤1，获取图形化配置的处理规则，将所述处理规则转换成sql语句；

步骤2，获取需要进行实时分析处理的流数据；

步骤3，从所述流数据中提取关键字段；

步骤4，根据所述关键字段绘制宽表；

步骤5，根据所述sql语句和所述宽表对所述流数据进行实时分析处理。

2.根据权利要求1所述的实时分析处理方法，其特征在于，所述处理规则由预先设置好的运算符号、逻辑符号和业务原子指标根据实际业务需求组合而成，其中，所述运算符号为用于进行数学运算的符号，所述逻辑符号为用于进行逻辑运算的符号，所述业务原子指标为通过对流数据中的与业务相关的业务指标进行分解得到的底层元数据。

3.根据权利要求1所述的实时分析处理方法，其特征在于，步骤2还包括：

步骤21，从所述流数据中提取多个业务指标的单表增量数据；

步骤22，将多个所述业务指标的单表增量数据与对应的存量数据存放在相同的位置中，得到多个所述业务指标的单表增存数据；

步骤23，将多个所述业务指标的单表增存数据进行整合，使整合后的所有业务指标的单表增存数据有共同的唯一主键。

4.根据权利要求1至3任一项所述的实时分析处理方法，其特征在于，步骤5中，通过HIVE平台对所述流数据进行实时分析处理。

5.根据权利要求4所述的实时分析处理方法，其特征在于，还包括：

步骤6，对进行实时分析处理的所述流数据进行实时的可视化显示。

6.一种流数据的实时分析处理系统，其特征在于，包括：

规则配置模块，用于获取图形化配置的处理规则；

规则转换模块，用于将所述处理规则转换成sql语句；

数据处理模块，用于获取需要进行实时分析处理的流数据；

宽表生成模块，用于从所述流数据中提取关键字段，并根据所述关键字段绘制宽表；

实时分析处理模块，用于根据所述sql语句和所述宽表对所述流数据进行实时分析处理。

7.根据权利要求6所述的实时分析处理系统，其特征在于，所述处理规则由预先设置好的运算符号、逻辑符号和业务原子指标根据实际业务需求组合而成，其中，所述运算符号为用于进行数学运算的符号，所述逻辑符号为用于进行逻辑运算的符号，所述业务原子指标为通过对流数据中的与业务相关的业务指标进行分解得到的底层元数据。

8.根据权利要求6所述的实时分析处理系统，其特征在于，所述数据处理模块还用于从所述流数据中提取多个业务指标的单表增量数据，将多个所述业务指标的单表增量数据与对应的存量数据存放在相同的位置中，得到多个所述业务指标的单表增存数据，并将多个所述业务指标的单表增存数据进行整合，使整合后的所有业务指标的单表增存数据有共同的唯一主键。

9.根据权利要求6至8任一项所述的实时分析处理系统，其特征在于，实时分析处理模块具体用于通过HIVE平台对所述流数据进行实时分析处理。

10.根据权利要求9所述的实时分析处理系统，其特征在于，所述规则配置模块还用于对进行实时分析处理的所述流数据进行实时的可视化显示。