[发明专利]一种多源数据存储和读取方法

权利要求书

1.一种多源数据存储方法，所述多源数据来自不同部署对象的不同量测点，其特征在于，包含以下步骤：

对所述部署对象进行分组，形成各部署对象组，并对各部署对象组包含的量测点进行划分，形成内部组；

为每个部署对象组的内部组中的各量测点分配唯一对应的本地标识；

每个部署对象组中的每个内部组包含至少一个存储文件，所述存储文件包含文件头和文件体，所述文件体由固定大小、连续的数据片组成，该文件体中包含索引区和数据区，所述索引区中保存每个所述量测点在该存储文件中存储位置的索引；

在收到来自一部署对象辖下量测点的数据时，根据该量测点所属的部署对象组和内部组，找到该量测点对应的存储文件，根据该量测点的本地标识找到该量测点对应的存储位置索引，如果该索引表示当前未在数据区中为该量测点分配数据片、或所分配的数据片已存满，则在所述数据区中为该量测点分配一空白数据片，所分配的数据片与该数据区中已分配的数据片连续，将所述量测点数据存储在该新分配的数据片中；反之，则将所述量测点的数据存储在该索引指示的数据片的相应位置；

如果在存储过程中，当前数据片已存满，则为该量测点新分配一数据片进行存储，所分配的数据片与该数据区中已分配的数据片连续。

2.根据权利要求1所述的多源数据存储方法，其特征在于，所述对部署对象进行分组，形成各部署对象组的方式为：

根据各部署对象所包含的量测点数量，对所述各部署对象分组，将所包含量测点数量总和小于预设值的至少两个部署对象分为一组，将其余的每个部署对象分别分为一组；

所述对各部署对象组包含的量测点进行划分，形成内部组的方式为：

对各部署对象组进行组内划分，以所述预设值为界限，每达到预设值数量的量测点划分为一内部组，对应一组内标识，其余不足预设值数量的量测点划分为一内部组。

3.根据权利要求1所述的多源数据存储方法，其特征在于，所述为每个部署对象组的内部组中的各量测点分配唯一对应的本地标识的步骤中，所述本地标识为连续的；

所述索引区中以所述本地标识为顺序，依次保存每个所述量测点在该存储文件中存储位置的索引；

所述根据该量测点的本地标识找到该量测点对应的存储位置索引的步骤中，由该量测点的本地标识和单个索引的长度直接定位该量测点对应的索引位置。

4.根据权利要求1所述的多源数据存储方法，其特征在于，所述量测点在存储文件中存储位置的索引包含：该量测点在该存储文件中保存的第一条记录的指针和最后一条记录的指针；

所述将量测点的数据存储在该索引指示的数据片的相应位置的步骤中，根据所述最后一条记录的指针进行存储。

5.根据权利要求1所述的多源数据存储方法，其特征在于，所述待存储的量测点数据包含：数据值、质量码、和时间戳；

所述数据片包含页面头和页面体，所述将量测点数据存储在数据片的步骤中，将量测点数据存储在数据片的页面体中；所述将量测点数据存储在数据片中的步骤之后，将该数据片中保存的数据的起始时间和结束时间存储在该数据片的页面头中。

6.根据权利要求5所述的多源数据存储方法，其特征在于，所述页面头中还保存有本量测点对应的上一数据片的页面号和/或下一数据片的页面号。

7.根据权利要求1所述的多源数据存储方法，其特征在于，所述各部署对象组中各内部组对应的存储文件的名称中包含该部署对象组和该内部组标识；

所述根据该量测点所属的部署对象组和内部组，找到该量测点对应的存储文件的步骤中，查找包含该部署对象组标识和该内部组标识名称的文件。

8.根据权利要求7所述的多源数据存储方法，其特征在于，各部署对象组中各内部组对应的存储文件的名称中还包含：该存储文件所保存数据的起始时间和结束时间；

在所述部署对象组中内部组对应的存储文件存满时，为该内部组分配新的存储文件，新分配的存储文件的名称中同样包含该部署对象组和该内部组标识，以及所保存数据的起始时间和结束时间。

9.根据权利要求1所述的多源数据存储方法，其特征在于，还包含以下步骤：

在所述部署对象新增量测点时，优先将所述新增的量测点分配到其所属部署对象组中已有的不足预设值数量的内部组，超出预设值数量的部分量测点，划分为该部署对象组中一新内部组，对应一新存储文件。

10.根据权利要求1至9中任意一项所述的一种多源数据读取方法，其特征在于，包含以下步骤：

在需要读取至少一个部署对象中至少一个量测点某一时间段的数据时，根据该部署对象所属的部署对象组、和该量测点所属的内部组，找到该部署对象组和该内部组对应的所有存储文件；

将待查找的时间段和所述存储文件名称中包含的起始时间和结束时间进行比较，选择相匹配的存储文件；

在所述匹配的存储文件中，根据该量测点的本地标识和单个索引长度定位该量测点对应的存储位置索引，找到该量测点对应的第一个数据片，根据所述数据片中保存的本量测点对应的上一数据片的页面号和/或下一数据片的页面号，确定该量测点对应的其他数据片；

将各数据片中保存的数据起始时间和结束时间信息与待查找的时间段相比较，读取所需的数据。