[发明专利]高可靠性的实时/历史数据库数据保护方法

说明书

技术领域

本发明涉及一种数据库数据的处理方法，具体来说涉及一种高可靠性的实时/历史数据库数据保护方法。

背景技术

实时/历史数据库系统在国内很多基础行业有着十分广泛的应用，比如电力、典型、化工、钢铁和高铁等对流程状态数据要求较高的行业内，实时/历史数据库都担负着十分重要的角色。

受传统数据库管理系统的影响，目前大多数实时/历史数据库系统遵循传统的数据管理模式：为大量的最终数据建立索引系统并将数据压缩存储到数据文件中；而数据查询和回取时都按照如下一系列过程：客户端提交查询请求、服务软件从索引系统中找到对应数据的位置(数据文件、偏移、数据类型和数据大小)、从对应的位置中读取压缩数据、解压读取到的压缩数据、筛选并将满足请求的数据记录发送给提交请求的客户端。

因此，目前大多数实时/历史数据库的数据写入和查询都是先修改或者查询索引信息系统，然后一次性访问目标数据。这其中就存在一个问题，如果一个存储了大量数据的索引系统由于某种原因被损坏，一种可能是存储了很久的在线数据变成了孤立的数据文件，无法访问；另外，即便现行的一些实时/历史数据库产品能够找回孤立的数据文件中的数据，但是操作的过程十分冗长缓慢，有的甚至需要原软件开发人员进行耗时的测试尝试。

可以看到，在实时/历史数据库系统应用越来越广泛的今天，如何提升规模量庞大的实时/历史数据库的数据安全问题变得十分迫切。本实用新型的重点就是涉及和提供一种高可靠性的实时/历史数据库数据保护技术。

发明内容

本发明的目的在于提供一种高可靠性的实时/历史数据库数据保护方法，本方法能够保护实时/历史数据库系统中数据的安全，降低由于数据丢失或者索引系统损坏带来的损失，提升了实时/历史数据库系统中管理的常年在线数据的安全性、可靠性和完整性。

本发明的目的可通过以下的技术措施来实现：

一种高可靠性的实时/历史数据库数据保护方法，包括如下内容：

A、写数据请求处理过程：

A1)、根据数据库配置指定的点标签容量总数，初始化数据库子索引系统、数据库受限访问子索引系统，为这两个子索引系统申请相应的存储空间，根据点标签构造相应的哈希结构树，为每个点标签的时间记录建立检索索引；

A2)、由数据提交客户端对数据库发起提交实时数据的请求；

A3)、数据库接收到提交实时数据请求的请求包后，首先对请求包进行解析，分离出实时数据记录数组，然后对该记录数组进行数据压缩并得到压缩数据，另外同时从请求包中解析出数据关联的点标签ID，根据点标签ID获取该ID最新的记录在子索引系统中写入索引信息，所述索引信息的内容包括该点标签ID最新记录存储所在的目标压缩文件的文件ID；

A4)、在压缩文件中分别进行三个操作：首先，第一个操作是在压缩文件内建立压缩文件内部索引信息；第二个操作是将步骤A3)得到的压缩数据写入到压缩数据段空间的最新写入位置；第三个操作是在元文件信息空间建立提供给数据库子索引系统进行反向构建的元文件信息，所述元文件信息的信息项包括：写入点标签，写入压缩文件ID，写入文件偏移，写入文件数据大小；三个步骤全部被成功后进入下一步，否则宣告失败，退出本方法的处理过程；

A5)、根据步骤A4)产生的内部元文件信息来构造数据库系统受限访问子索引系统中需要的索引项；如果数据库中配置了不需要数据库提供应用受限访问功能，则结束本方法处理过程；否则，进入下一步；

A6)、判断当前写入的数据时间范围是否在受限访问的允许访问时间范围列表内，如果是，则将当前写入数据的索引信息加入到受限访问子索引系统中，并结束本方法处理过程；否则，直接结束本方法处理过程；

B、从一个或者多个实时/历史数据库在压缩文件中建立子索引系统的处理过程：

B1)、备份现有数据库子索引系统相应的物理索引文件；

B2)、根据数据库配置指定的点标签容量总数，初始化数据库子索引系统，为子索引系统申请相应的存储空间，根据点标签构造相应的哈希结构树，为每个点标签的时间记录建立检索索引；

B3)、枚举检索归档的压缩文件所在的文件夹，按照压缩文件的序号从小到大，枚举出全部的压缩文件的列表，依次读取每个压缩文件的内部信息进行反向建立索引处理；

B4)、对步骤B3)枚举出来的每个压缩文件，首先装载压缩文件的内部索引信息和元文件信息到内存，根据内部索引信息中的压缩数据块文件偏移和压缩数据块大小，遍历当前压缩文件中所有的压缩数据块；