[发明专利]一种基于大数据运营分析的数据处理方法

说明书

本发明涉及一种基于大数据运营分析的数据处理方法包括：步骤一采集源数据信息：通过规则引擎读取数据信息，启动Flume系统进行数据采集；步骤二数据分类；步骤三：清洗数据：利用Flume的各个Agent根据规则引擎中的清洗规则进行数据清洗；步骤四对清洗后的数据分类：为实时计算数据还是非实时计算数据；步骤五在上述步骤三中的HDFS目录根据预将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据并把最终处理结果保存到结果集中；步骤六：根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中。本方法充分利用Flume系统的本身优势并结合Kafka、HDFS等工具，实现对运营平台的数据分析配置。

技术领域

本发明涉及移动互联网领域的网络平台的运营，具体涉及一种基于大数据运营分析的数据处理方法。

背景技术

国家“互联网+”战略推动了移动互联网、云计算、大数据、物联网等产业的高速发展，促进了电子商务快速的发展。目前基于大数据技术的网络平台越来越多，平台业务量也在快速的增长，办理业务的用户越来越多。怎么样才能充分利用好大数据这个工具，怎么合理的分配好平台的资源，本发明提供一种基于大数据运营分析的数据处理方法，利用本方法对平台进行建设，有助于合理分配资源，有助于平台流畅的运转。

发明内容

1、所要解决的技术问题：

本方法的目的提供一种网络平台运营商使用的，对平台业务进行合理处理的方法，通过本方法呈现在平台运营人员面前的是可视化的（比如图表，报表形式），方便运营人员直接对本平台的业务进行操作。

2、技术方案：

一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员， 包括以下步骤：

步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集。上述的源数据的形式通常是网页日志、APP日志和部分业务日志，通过规则引擎预设的规则进行处理可以达到可控制采集范围，控制日志上传方式等等。

步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中。本方法采用的flume系统是分布式的日志收集系统，它可以将各个服务器中的数据收集起来并送到指定的地方去。flume系统中采用了agent，agent里面包含3个核心的组件：source—-channel—–sink,类似生产者、仓库、消费者的架构。其中的 采用Source或channel或sink配置文件是根据一、数据载体的来源：如文件、缓存、数据库等二、根据数据内容格式：如文本、序列化数据对象、数据库文件等。

其中：source：source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequencegenerator、syslog、http、legacy、自定义。

channel：source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等。

sink：sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr、自定义。