[发明专利]一种中小型电商大数据平台

权利要求书

1.一种中小型电商大数据平台，其特征在于：从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中

运行环境层，其为基础设施层提供运行时环境，包括操作系统和运行时环境；

基础设施层，其为基础平台层提供基础设施服务；所述基础设施层包括Zookeeper集群和Hadoop集群：(1)ZooKeeper集群用于命名映射，作为Hadoop集群的命名服务器，基础平台层的任务调度控制台通过命名服务器访问Hadoop集群中的NameNode，同时具备failover的功能；(2)Hadoop集群是大数据平台的核心，是基础平台层的基础设施；它提供了HDFS、MapReduce、JobTracker和TaskTracker服务；

基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive：(1)任务调度控制台是MapReduce任务的调度中心，分配各种任务执行的顺序和优先级；用户通过调度控制台提交作业任务，并通过用户网关层的Hadoop客户端返回其任务执行的结果；(2)HBase是基于Hadoop的列数据库，为用户提供基于表的数据访问服务；(3)Hive是在Hadoop上的一个查询服务，用户通过用户网关层的Hive客户端提交类SQL的查询请求，并通过客户端的UI查看返回的查询结果，该接口可提供数据部门准即时的数据查询统计服务；

用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；

客户应用层，是各种不同的终端应用程序，所述客户应用层包括各种关系型数据库，报表，交易行为分析，对账单，清结算。

2.根据权利要求1所述中小型电商大数据平台，其特征在于：所述操作系统安装了CentOS6.5以上版本，且为64位。

3.根据权利要求1所述中小型电商大数据平台，其特征在于：所述运行环境层将分布式文件系统的数据目录分布在不同的磁盘分区上。

4.根据权利要求1所述中小型电商大数据平台，其特征在于：所述Hadoop集群采用双主节点模式。

5.根据权利要求1所述中小型电商大数据平台，其特征在于：所述用户网关层，提供了3个个性化调用接口：

(1)Hadoop客户端是用户提交MapReduce作业的入口，并从其UI界面查看返回的处理结果；

(2)Hive客户端是用户提交HQL查询服务的入口，并从其UI界面查看查询结果；

(3)Sqoop是关系型数据库与HBase或Hive交互数据的接口，其能够将关系型数据库中的数据按照要求导入到HBase或Hive中，以提供用户可通过HQL进行查询；同时HBase或Hive或HDFS也能够将数据导回到关系型数据库中，以便其他的分析系统进行进一步的数据分析。

6.根据权利要求1所述中小型电商大数据平台，其特征在于：所述终端应用程序包括：

行为分析程序：将交易数据从关系型数据库导入到Hadoop集群中，然后根据数据挖掘算法编写MapReduce作业任务并提交到JobTracker中进行分布式计算，然后将其计算结果放入Hive中；终端用户通过Hive客户端提交HQL查询统计分析的结果；

对账单程序：将交易数据从关系型数据库导入到Hadoop集群，然后根据业务规则编写MapReduce作业任务并提交到JobTracker中进行分布式计算，终端用户通过Hadoop客户端提取对账单结果文件；

清结算程序：将银联文件导入HDFS中，然后将之前从关系型数据库中导入的POSP交易数据进行MapReduce计算，然后将计算结果连接到另外一个MapReduce作业中进行费率及分润的计算，最后将计算结果导回到关系型数据库中由用户触发商户划款。