[发明专利]一种海量历史数据的存储及索引方法

权利要求书

1.一种海量历史数据的存储方法，其特征在于，该方法包括：

A、从实时历史数据库获取与测点数字标识N_ID相对应测点的前一天全天的压缩数据，按时间升序连续排列构成一条测点历史数据记录的历史数据区，在所述历史数据区前加入该测点的元数据区信息构造一条测点历史数据记录R；

B、判断中间数据文件F_T的剩余空间是否小于R的长度R_LEN，如果是，则向F_T的剩余空间写入无效数据，并将F_T中的整块数据追加写入历史数据文件F，从分布式文件系统返回的结果中获取本次写入数据所存入的文件块的全局数字标识BlockID，遍历保存测点数字标识的集合C_ID，每次取出一个测点数字标识赋值给临时变量T_ID，将日索引集合文件F_Ti的第T_ID个索引单元的文件块标识FileBlockID项的值置为BlockID，清空C_ID和文件F_T，并执行步骤C；否则直接执行步骤C；

C、将R写入F_T，记录下R在F_T中的起始偏移地址Offset，将Offset和R_LEN分别写入日索引集合文件F_TI的第N_ID个索引单元的数据偏移DataOffset项和数据长度DataLength项，将N_ID的值存入集合测点数字标识的集合C_ID；

D、对N_ID的值执行加1操作，判断新N_ID对应的测点是否存在，若存在则执行步骤A；否则执行步骤E；

E、向F_T的剩余空间写入无效数据，将F_T中的数据追加写入历史数据文件F，从分布式文件系统返回的结果中获取本次写入数据存入的文件块的全局数字标识BlockID，更新F_TI，遍历C_ID，每次取出一个测点数字标识赋值给临时变量T_ID，将F_TI中第T_ID个索引单元文件块标识FileBlockID项的值置为BlockID，将F_TI的数据追加写入年索引文件F_IDX。

2.根据权利要求1所述的海量历史数据的存储方法，其特征在于，在步骤A之前，还进一步包括初始化操作的步骤，所述初始化操作的步骤具体包括：

判断是否存在当前年对应的历史数据文件F，如果存在则打开该文件；不存在则按照历史数据文件命名的规则新建一个空的历史数据文件；

判断是否存在当前年对应的年索引文件F_IDX，如果存在则打开该文件；不存在则按照年索引文件命名的规则新建一个空的年索引文件；

新建一个空的中间数据文件F_T，F_T的大小固定为分布式文件系统默认文件分块大小BlockSize；

新建一个包含M个索引单元的日索引集合文件F_TI，M等于实时历史数据库系统支持最大点数；

将N_ID赋值为1，新建一个保存测点数字标识的集合CID。

3.根据权利要求1或2所述的海量历史数据的存储方法，其特征在于，所述历史数据文件F的文件名为YYYY.dat，其中YYYY代表年；F由多个相同大小的数据块拼接而成，每个数据块的大小等于分布式文件系统默认的文件分块大小BlockSize，实现物理存储的分布式文件系统将数据文件F切分为多个文件块进行分布存储，一个数据块对应一个文件块。

4.根据权利要求3所述的海量历史数据的存储方法，其特征在于，所述测点历史数据记录R包含测点元数据区和测点历史数据区，所述测点元数据区包含实时历史数据库为每个测点分配的全局唯一的数字标识N_ID、测点的数据采集周期和测点历史数据区内第一个数据的时间戳。