[发明专利]一种多源数据索引存储、读取方法及装置

说明书

技术领域

本发明涉及一种数据存储和读取技术，尤其涉及一种多源数据索引存储和读取技术。

背景技术

对于电力、石油和连锁经营等大型企业，其分站或经营场所分布在全国、甚至全球各地，它们的每个分站或经营场所又包含许多的量测点，这些大型企业的数据中心，随时随刻都要对这些量测点产生的数据进行存储，需要的时候，还要从存储的众多数据中读取所需的数据。而这些企业的数据有一个共同点：数据量比较大、数据来源比较广泛。针对这些特点，怎样更快速地对数据进行存储和读取是需要亟待解决的问题。

在数据库中，索引策略决定数据库快速定位数据的效率，索引可以提高数据存储和查询的效率。

索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。当表中有大量记录时，若要对表进行查询，第一种搜索信息方式是全表搜索，是将所有记录一一取出，和查询条件进行一一对比，然后返回满足条件的记录，这样做会消耗大量数据库系统时间，并造成大量磁盘I/O操作；第二种就是在表中建立索引，然后在索引中找到符合查询条件的索引值，最后通过保存在索引中的ROWID(相当于页码)快速找到表中对应的记录。

所以，在利用索引对数据量比较大、数据来源比较广泛的数据进行存储和查询，提高其效率最关键的就是快速找到数据的存储文件并定位数据在存储文件中的位置。

发明内容

本发明主要解决的技术问题是提供一种多源数据索引存储及读取方法，使得在对数据量比较大、来源比较广泛的数据进行存储时，能够快速找到数据对应的存储文件进行存储；在读取所需数据时，能够在众多的存储文件中快速找到所要读取数据所在的存储文件，对数据进行读取。

为了解决上述技术问题，本发明提供了一种多源数据索引存储方法，包含以下步骤：

根据各部署对象所包含的量测点数量，对各部署对象分组，将所包含量测点数量总和小于预设值的两个或两个以上部署对象分为一组，将其余的每个部署对象分别分为一组；

对各部署对象组进行组内划分，以预设值为界限，每达到预设值数量的量测点划分为一内部组，对应一组内标识，其余不足预设值数量的量测点划分为一内部组；

每个部署对象组中的一个内部组唯一对应一存储文件；

在收到来自一部署对象辖下量测点的数据时，根据该量测点所属的部署对象组和内部组，找到该量测点对应的存储文件，将该量测点的数据存储到该存储文件中。

作为进一步改进，该方法还包含以下步骤：

在部署对象新增量测点时，优先将新增的量测点分配到其所属部署对象组中已有的不足预设值数量的内部组，超出预设值数量的部分量测点，划分为该部署对象组中一新内部组，对应一新存储文件。

作为进一步改进，对各部署对象组进行组内划分的步骤之后，还包含以下步骤：

为每个部署对象组的内部组中的各量测点分配唯一对应一本地标识；

各存储文件的头文件中保存各量测点的本地标识与该量测点在该存储文件中存储位置之间的索引；

将该量测点的数据存储到该存储文件中的步骤中，根据量测点的本地标识、和所述存储文件头文件中的索引，确定该量测点数据在该存储文件中的存储位置。

作为进一步改进，该方法还包含以下步骤：

为每个部署对象组分配一个组标识，为部署对象组中每个内部组分配一组内标识；

保存各量测点的通用标识与该量测点所属的部署对象组的组标识、所属内部组的组内标识、以及该量测点本地标识之间的对应关系；

找到该量测点对应的存储文件的步骤中，根据对应关系、和量测点的通用标识，确定该量测点对应的组标识和组内标识，根据该组标识和组内标识找到对应的存储文件。

本发明还提供了一种多源数据读取方法，包含以下步骤：

在需要读取一个或多个部署对象中一个或多个量测点的数据时，根据该部署对象所属的部署对象组、和该量测点所属的内部组，找到该部署对象中该量测点对应的存储文件，从该存储文件中读取该量测点的数据。

作为进一步改进，从该存储文件中读取该量测点的数据的步骤中，根据量测点的本地标识、和存储文件的头文件中保存的各量测点的本地标识与该量测点在该存储文件中存储位置之间的索引，确定该量测点数据在该存储文件中的存储位置，从该存储位置读取该量测点的数据。

本发明还提供了一种多源数据索引存储装置，包含：