[发明专利]物联网异构数据存储方法及系统

权利要求书

1.一种物联网异构数据存储方法，其特征在于该方法通过HBase分布式存储系统对各种类型的数据进行基于列的存储，并通过MySQL元数据库对存储的数据进行登记管理，最后对数据访问层进行统一配置，使得基于该数据库的应用都能使用统一的数据接口；所述方法包括如下步骤：

(1)系统前端将需要存储的数据送入数据存储系统；

(2)在步骤(1)所述数据存储系统采用HBase技术搭建的异构存储集群中，为不同类型的数据指定存储列簇；

(3)MySQL元数据库对不同类型的存储数据进行进行登记，通过注册服务器向MySQL元数据库中登记数据信息，在将数据存储在步骤(2)中所述数据存储系统前，会对接收的数据标识信息和元数据库中的信息进行验证，没有登记过的实体所发送的数据将直接丢弃；

(4)在数据访问层，对不同格式的数据进行统一解析，不同的数据访问请求会路由到不同的数据库中；

(5)所有的物联网应用均通过步骤(4)所述的统一的数据接口对存储的数据进行访问。

2.根据权利要求1所述的物联网异构数据存储方法，其特征在于，所述方法利用HBase技术搭建起大规模存储集群，采用HBase对列簇处理机制，基于HBase客户端API实现对数据的增删改查。

3.根据权利要求1或2所述的物联网异构数据存储方法，其特征在于，所述方法采用内存映射文件机制，保证大文件的存储和读取，通过内存映射文件保留一个地址空间的区域，同时将物理存储器提交给此区域；使用内存映射文件时，不必再对文件执行I/O操作，所有的文件缓存操作均由系统直接管理。

4.根据权利要求1或2所述的物联网异构数据存储方法，其特征在于，所述元数据信息存储在关系型数据库中，保证数据访问的原子性和一致性。

5.一种实现权利要求1所述方法的物联网异构数据存储系统，其特征在于，所述系统由接口模块、数据存储模块、容量扩展模块、大文件存储模块、冗余存储模块共五个模块组成，其中：

接口模块：该模块对不同格式的数据进行统一解析，接收规定的统一查询和反馈数据类型；

数据存储模块：利用HBase技术搭建起大规模存储集群，将数据存入HBase的指定列簇；

容量扩展模块：同一列簇在同一个表区中存储在同一个文件中；

大文件存储模块：通过内存映射文件保留地址空间的区域，同时将物理存储器提交给此区域；

冗余存储模块：把相同的数据存储在多个硬盘的不同的地方，整体系统的容错建立在每个磁盘驱动器的硬件容错功能之上。

6.根据权利要求5所述的物联网异构数据存储系统，其特征在于，所述接口模块，预定义了统一数据模型，用于访问和管理不同数据格式的数据源，所有不同的数据源都会实现所定义的抽象接口，实现数据提供层与数据访问层之间的松耦合；不同格式的数据，在数据访问层按照统一的标准读取和解析，实现了数据访问接口的统一。

7.根据权利要求5或6所述的物联网异构数据存储系统，其特征在于，所述冗余存储模块把相同的数据存储在多个硬盘的不同的地方，多个硬盘增加了平均故障间隔时间，使整体系统的容错建立在每个磁盘驱动器的硬件容错功能之上；同时，在多个磁盘上同时存储和读取数据，使得输入输出操作能以平衡的方式交叠。

8.根据权利要求5或6所述的物联网异构数据存储系统，其特征在于，所述系统上层应用不受限于下层存储系统的实现，实现系统的解耦。