[发明专利]一种海量动态数据管理方法

摘要

本发明涉及一种海量动态数据管理方法，属于数据处理技术领域。该方法通过查询关系型数据库从而快速查看当前数据库的结构信息；通过Hbase存储数据，从而利用Hbase的特点，实现适应海量动态数据属性变化很快或者实体和属性需要由非程序设计人员在系统中个性化定制的需求；通过Hbase存储数据，从而利用Hbase的特点，实现数据快速批量插入，适用于高并发写的情形，尤其适用于大量复杂传感器数据的存储；通过关系型数据库中的分组表，从而满足单独查询特定列、分组查询等复杂查询需求；通过Hbase中RowKey列以时间和某一项或几项重要信息的组合构成，利用Hbase的存储特性，从而将更容易一起查询的数据存到一起，提高查询效率。

主权项

1.一种海量动态数据管理方法，其特征在于：包括以下步骤：1)、使用关系型数据库建立管理相关的表，包括用户表、Hbase表名表、Hbase列名表、分组表、用户操作表；2)、用户建立一个动态感知表时，表的名称及表的列信息作为输入数据，分别插入到关系型数据库的Hbase表名表和Hbase列名表中；3)、根据表名、列名在Hbase中创建对应的表和列；4)、插入数据时，根据关系型数据库中的Hbase表名表和Hbase列名表提取出列信息，提供与之对应的数据，向Hbase中批量插入动态数据；5)、浏览数据时，根据关系型数据库中的Hbase表名表和Hbase列名表提取出列信息，从Hbase浏览指定表的数据信息；6)、条件查询数据时，根据关系型数据库中的Hbase表名表和Hbase列名表提取出列信息，从Hbase中查询特定条件的数据信息；7)、分组查询任务时，根据定制需要，使用定时任务，将分组结果存储在关系型数据库的分组表中；8)、需要动态扩展表时，首先向Hbase列名表中插入新的列信息，之后在对应Hbase表添加列，之后插入的数据信息应符合扩展后的结构。