[发明专利]一种基于Hadoop的分布式移动基站数据存储系统

说明书

本发明涉及一种基于Hadoop的分布式移动基站数据存储系统，该系统包括依次连接的接口层、功能层、数据层和物理层，所述的物理层包括至少一台应用服务器、备份服务器以及核心层交换机，各应用服务器、各备份服务器、数据层分别连接核心层交换机，所述的数据层包括Linux存储集群，该Linux存储集群采用Hadoop集群平台，所述的Hadoop集群平台包括YARN、索引库、HBase数据库、Mysql数据库以及用以进行分布式协调服务的Zookeeper，所述的Hadoop集群平台的最底层设有用以存储所有节点上的文件的HDFS。与现有技术相比，本发明具有提升容量、提高数据的兼容性等优点。

技术领域

本发明涉及移动基站数据技术领域，尤其是涉及一种基于Hadoop的分布式移动基站数据存储系统。

背景技术

移动基站数据接入技术关键点包括:1、数据获取性能的灵活扩展：数据规模大频度高存在短期峰涌现象，对平台组件冲击较大，由于分布式消息队列采用集群方式部署，可根据需求横向扩展硬件资源，因此通过应用分布式消息队列可有效屏蔽冲击。2、分布式消息队列主题创建及调优：为达到对海量高频数据进行实时接入的目的，需要根据时序数据产生频率、采集周期、测点规模，针对性设计数据分布策略；将监测数据按数据分类分发到分布式消息队列中；依据系统负载调整不同类别数据的分区数量、复制因子、主题分布等参数；设置时序数据在分布式消息队列中的存储结构，实现高速写入，并降低转换开销；同时需实现基于分布式消息队列的故障恢复机制，以确保数据不丢失。

数据存储环节实现对用采数据的分布式存储。原则上，采集量测数据存入大数据平台分布式列式数据数据库(HBase)中，并将近期数据(当前半天或者一天内)缓存在大数据平台分布式内存数据库(Redis)中，便于对于实时性要求较高的应用进行处理。

然而，随着移动终端的不断增加，移动基站数据越来越多，传统方法已经无法应对海量的移动基站数据。已有的商业私有云GIS平台部署的高昂费用、数据的兼容性差、后台服务接口定制困难。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Hadoop的分布式移动基站数据存储系统。

本发明的目的可以通过以下技术方案来实现：

一种基于Hadoop的分布式移动基站数据存储系统，包括依次连接的接口层、功能层、数据层和物理层，所述的物理层包括至少一台应用服务器、备份服务器以及核心层交换机，各应用服务器、各备份服务器、数据层分别连接核心层交换机，所述的数据层包括Linux存储集群，该Linux存储集群采用Hadoop集群平台，所述的Hadoop集群平台包括YARN、索引库、HBase数据库、Mysql数据库以及用以进行分布式协调服务的Zookeeper，所述的Hadoop集群平台的最底层设有用以存储所有节点上的文件的HDFS。

所述的Hadoop集群平台为树形结构，该树形结构包括内部节点和叶子节点，所述的内部节点代表一个路由器或核心层交换机，所述的叶子节点代表部署DataNode数据节点的机器，DataNode数据节点用以响应来自HDFS的读写请求，并用于响应来自NameNode名称节点的创建、删除和复制块的命令。

所述的Hadoop集群平台的管理员通过设置参数来指定一个脚本文件，在NameNode名称节点启动成功后自动加载此脚本并且执行该脚本，通过该脚本中的设定将集群中DataNode数据节点的IP翻译成对应的rackname，若没有设置参数，则每个DataNode数据节点的IP会被解析到默认机架，NameNode名称节点用于接受每个DataNode数据节点的定期心跳消息。

所述的Hadoop集群平台中，DataNode每隔一段心跳时间主动发起与NameNode之间的联系，心跳间隔时间通过配置参数设定，且通过配置参数可设定最长时间，若NameNode名称节点发现一个节点超过最长时间后仍未与其取得联系，则认定发现的节点死亡，将该节点标记为DeadNode死亡节点。