[发明专利]一种基于大数据运营分析的数据处理方法

权利要求书

1.一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员，其特征在于：

包括以下步骤：

步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集；

步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中；

步骤三：清洗数据：Flume系统的各个Agent根据配置文件启动并进行数据采集；在采集过程中，Agent根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗；

步骤四：对清洗后的数据分类：对在步骤三中清洗好的数据判断数据类型为实时计算数据还是非实时计算数据；如果为实时计算数据，将清洗好的数据导入Kafka系统中进行分析消费，如果为非实时数据将清洗好的数据导入到Hdfs里创建好的文件目录中；

步骤五：在上述步骤三中的HDFS目录根据预设的建表规则建立Hive外部表；将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据，并把最终处理结果保存到结果集中；

步骤六：在上述步骤四中的Kafka系统中，根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中；

步骤七：将所述结果集中的数据发送到门户网站、大屏；展示出的形式为：用户可配置页面展示样式或/和图标样式。

2.根据权利要求1所述的一种基于大数据运营分析的数据处理方法，其特征在于：在步骤四中非实时数据导入定义好的HDFS目录的方式为：利用Flume系统的HDFSSink将日志批量写入HDFS目录中存储并按照日期分子文件夹存储。

3.根据权利要求1所述的一种基于大数据运营分析的数据处理方法，其特征在于：所述规则引擎设置作业调度和数据格式规则来采集源数据信息。