[发明专利]一种基于Hadoop技术的海量时序数据存储实现方法

摘要

一种基于Hadoop技术的海量时序数据存储实现方法，包括建立HBase主键存储主键设计方案模型、建立HBase数据行存储结构设计方案模型和访问时序数据等步骤，实现成本低，并且可大幅减少存储数据所需的存储空间和内存占用，提高了存储效率。

主权项

一种基于Hadoop技术的海量时序数据存储实现方法，其特征在于，依次包括如下步骤：1)、建立HBase主键设计方案模型：a、在HBase中创建测点信息表，测点信息表内记录时序数据库存储时序数据的所有测点信息；b、测点信息表内测点信息包含测点名和测点ID信息，其中测点ID为一整数，是测点的唯一标识符，按照测点创建的时间顺序，顺序递增；测点信息表以测点名为存储主键ROWKEY；c、在HBase中创建测点数据表，测点数据表记录所有的时序数据；d、测点的时序数据以小时为单元组织为一条HBase数据记录行；e、时序数据行的存储主键ROWKEY由2部分组成：第一部分为按照高低位顺序反转的时序数据所属测点的测点ID，第二部分为自某一时间开始至记录的时序数据时间时刻期间流逝的小时数×3600的积；2)、建立HBase数据行存储结构设计方案模型：f、HBase时序数据表单个记录行内，一个小时的时序数据记录在一个数据列column内；g、单个时序数据记录采用固定长度记录结构，时序数据记录按照数据时间先后顺序连续存储在一起；h、时序数据记录对应的数据时刻，采用与整点小时内的偏移秒数,即距离0分0秒流逝的秒数，0‑3599的整数格式存储，数据时刻记录按照与时序数据记录相同的顺序，前后联结在一起，作为数据列名column name；3)访问时序数据：a、外部访问时序数据时，提供要访问的时序数据对应的测点和数据时间/时间段，时序数据库首先从测点信息表中，按照外部提供的测点名检索到测点ID；b、将检索到测点ID进行高低位顺序反转，将时间转换为某一时间开始至记录的时序数据时间时刻期间流逝的小时数×3600积的整数，然后组合成查询时序数据表所需的主键ROWKEY，检索出时序数据所在的数据行数据；c、根据访问的时序数据的时刻，计算出该时刻在整点小时内的偏移秒数，即距离0分0秒流逝的秒数，0‑3599，从数据列名内检索出该时序数据对应记录在数据行记录内容的顺序位置；d、根据计算出位置，从数据行记录内容读取到所需的时序数据记录；e、当写入时序数据时，将该记录行的内容整体读出后，将时序数据写入对应的位置，重新生成数据列名column name，删除原来的数据列名对应的数据，将新数据按照重新生成的数据列名column name写入HBase的测点数据表。