[发明专利]一种基于散点的大数据存储方法

说明书

本发明属于大数据存储技术领域，具体涉及一种基于散点的大数据存储方法。本发明提出一种支持大量散点的实时库存储结构。该发明采用共享内存分块存储实时数据，进程间通信方便，实时数据按块同步，实现快速实时数据刷新。采用索引文件和数据文件分别存储数据点的索引信息和静态信息。由索引文件和数据文件的映射关系，可方便快速查询数据点静态信息。根据B‑tree(平衡多路查找树)构建数据点存储结构，采用树形存储结构，建立散点链表关联关系，存储结构合理，检索速度快。

技术领域

本发明属于大数据存储技术领域，具体涉及一种基于散点的大数据存储方法。

背景技术

分布式控制系统(DCS)被广泛应用于各种复杂的工业控制中，其结构一般包括现场仪表层、过程控制层和生产监控层。

实时数据库RTDB(Real Time Data Base)又称为内存数据库，是DCS系统的重要组成部分，起到现场仪表层、过程控制层和生产监控层的数据交换区的作用。

实时数据库主要负责对控制器进行数据采集、与工程师站、操作员站等终端进行数据交互。同时，它也是DCS系统事务的调度中心，操控包括指令传递、数据采集、图形显示、报警及历史存盘等事务在内的全盘调度工作，从而达到DCS系统监控的实时性、正确性和时间一致性。

实时数据库数据来源包括控制系统、数据采集系统、网关系统、计算处理结果、人员操作等，需要存储大量散点的实时信息和静态信息，而且实时刷新速度要求高。实时数据库存储结构设计的好坏关系到实时数据库的存储容量和运行效率。

一般的实时数据库将数据点划分为若干类，每一类有若干属性点，数据点之间的关系复杂，单个数据点的属性修改不够灵活，采用的存储模式和存取手段尚难达到工业控制软件所要求的响应速度。

所以在设计存储结构时必须优先考虑响应效率，能够在规定的时间内得到数据。

传统的技术方案由于面临上述不足，因此亟需研制一种基于散点的大数据存储方法，从而解决上述问题。

发明内容

本发明要解决的技术问题是提供一种基于散点的大数据存储方法，从而能，弥补当前传统散点实时库在此方面的不足。

为了实现这一目的，本发明采取的技术方案是：

一种基于散点的大数据存储方法，包括以下步骤：

(1)对数据点信息进行分类定义

按照数据点的输入输出类型和数据用途，将数据点细分为十四种，分别为：一层模拟量输入、一层模拟量输出、一层开关量输入、一层开关量输出、一层开关量输入输出、一层模拟量输入输出、二层模拟量输入、二层模拟量输出、二层开关量输入、二层开关量输出、二层开关量输入输出、二层模拟量输入输出、二层静态点、二层计算点；

其中，二层静态点用途是作为字符串、静态辅助变量之一；

二层计算点用途是计算中间参数；

(2)实时信息存储

实时数据库在每台主机开辟大小相同的共享内存块区，同时，在该内存块区再按照数据点的输入输出类型进行分块存储；

输入输出类型的划分根据需要自定义为任何类型，每个数据点属于其中的一种类型；

按照输入输出类型划分，共享内存区也被划分为相应的区块，分别存储属于该类型的数据点；

根据数据点导入顺序，确定每个数据点在其所属共享内存区的偏移量，存储该数据点的实时数据；

实时数据访问时，由该偏移量和共享内存区块的首地址之和，得到数据点的在内存区的存储位置，实现实时数据的快速读写；

(3)静态信息存储