[发明专利]基于HDFS的异构物联网大数据的存储与读取系统及方法

权利要求书

1.一种基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，包括数据查询服务器(1)、客户端(2)和多个数据存储中心(3)；

所述数据查询服务器(1)分别与客户端(2)和各个数据存储中心(3)连接；

每一个数据存储中心(3)包括数据采集模块(31)、数据处理服务器(32)和Hadoop集群(33)，所述数据采集模块(31)与数据处理服务器(32)连接，所述数据处理服务器(32)与Hadoop集群(33)连接，所述Hadoop集群(33)与数据查询服务器(1)连接；

所述Hadoop集群(33)包括HDFS分布式文件系统；

所述数据查询服务器(1)中存储有各个Hadoop集群(33)的存储参数；所述存储参数包括Hadoop集群(33)的名称、Hadoop集群(33)的IP地址、Hadoop集群(33)的端口号和Hadoop集群(33)的文件树；所述存储参数通过XML文件保存在数据查询服务器(1)中；

基于HDFS的异构物联网大数据的存储与读取系统的步骤包括：

S1：在数据查询服务器(1)中写入新加入的各个Hadoop集群(33)的存储参数，数据查询服务器(1)查询并更新各个Hadoop集群(33)的文件树；

S2：数据采集模块(31)采集的数据经数据处理服务器(32)处理后存储在Hadoop集群(33)的HDFS分布式文件系统中；

S3：数据查询服务器(1)自动查询并更新各个Hadoop集群(33)的文件树，如果有新的Hadoop集群(33)添加至所述的存储与读取系统，则执行步骤S1，否则，执行步骤S4；

S4：如果客户端(2)收到操作指令，则通过数据查询服务器(1)完成操作指令，否则，重复步骤S3；

所述步骤S3中，数据查询服务器1自动查询并更新各个Hadoop集群(33)的文件树具体为：数据查询服务器(1)根据预设置的时间周期定期查询并更新各个Hadoop集群(33)的文件树；

所述步骤S4中，操作指令包括查询操作、下载操作和文件树更新操作；

在数据查询服务器(1)中，保存了所有部门的名称、IP地址及端口号信息，同时还有各个Hadoop集群(33)的文件树；部门名称、IP地址及端口号信息通过xml文件保存，命名为department.xml，文件树也通过xml文件保存，命名为file-structure.xml；

在初始状态下，数据查询服务器(1)没有保存任何部门信息；当有新部门要加入时，由运维人员手动在数据查询服务器(1)中加入新部门的IP地址及端口号信息；3个部门加入以后，在department.xml中加入Hadoop1、Hadoop2和Hadoop3的名称、IP地址及端口号信息；数据查询服务器(1)遍历各个Hadoop集群(33)，读取文件信息，并更新file-structure.xml文件；

Hadoop集群(33)的IP地址和端口号是新加入的Hadoop集群(33)在注册时取得的，一般情况下不会改变，如果有需要修改的情况，由运维人员手工修改；

客户端(2)上安装有数据查询与处理软件，数据查询与处理软件的功能通过web界面实现；通过客户端(2)，用户可以在客户端(2)同时读取多个部门的数据；

根据预设置的时间周期，数据查询服务器(1)定期查询并更新各个Hadoop集群(33)的文件树；当用户在客户端(2)查询数据时，也可以根据需要手动刷新某一个各个Hadoop集群(33)的文件树；用户通过数据查询与读取软件与数据查询服务器(1)交互，来查看当前所有各个Hadoop集群(33)中保存了哪些文件。

2.根据权利要求1所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述客户端(2)中安装有数据查询与读取软件，所述客户端(2)通过网络连接数据查询服务器(1)。

3.根据权利要求1所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述数据采集模块(31)包括数据采集设备，所述数据采集设备的数量至少为1个。

4.根据权利要求3所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述数据采集设备包括一种或多种传感器。

5.根据权利要求4所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述数据采集设备还包括数据采集接口；所述数据采集接口包括串行总线接口、并行总线接口、以太网接口、WiFi接口、2G接口、3G接口和4G接口中的一种或多种。