[发明专利]历史数据归档集成系统及方法

说明书

技术领域

本发明涉及一种数据归档系统及方法，具体涉及一种历史数据归档集成系统以及方法。

背景技术

现有技术中，数据库环境都基于单个项目独立建设的，其特点为“烟囱式”，每套数据库服务器都有独立的存储和管理工具，相互不能共享资源，形成了一大堆孤立的数据库服务器。会导致以下问题：数据库服务器和存储设备规模大而分散，资源利用率低下；数据库环境的维护难度大，难以适应业务变化的需求；服务器数量和管理的总体成本偏高。

传统的独立部署模式导致服务器硬件资源难以合理分配，大部分系统CPU负载在20％以下，某些业务高峰期空闲主机资源无法做到动态分配；资源利用率低的同时也导致增加更多的冗余设备。

随着企业信息化的不断建设，机房资源已经成为瓶颈，提升优化迫在眉睫；机房空间前期规划不足，机房扩建成本昂贵，技术难点多。

随着信息系统运行年限越久，业务量和数据量不断增长，在信息化建设过程中，未考虑数据的生命周期，数据库臃肿存在风险；数据恢复难度大，周期长，需将历史数据下线分离。

因主机、数据库宕机等原因造成的数据库故障无法自动切换，部分应用业务中断无法被及时发现；因主机层面检修、内存扩容等需数据库停机操作无法在线操作，周期长，需要技术人员夜间操作，加大工作量及操作风险，且业务系统重大版本升级无环境测试。

因业务系统关联，导致多个业务系统从生产数据库重复抽数，接口冗余，无故增加数据库运行风险，及维护难度；对于数据流转无有效监控工具。

发明内容

为了解决上述问题，本发明提供一种历史数据归档集成系统及方法，解决因运行年限增加而导致数据库臃肿的业务系统来开展历史数据归档处理工作，从而遏制系统数据指数级增长的趋势，降低系统数据库运行风险。

本发明提供了如下的技术方案：

一种历史数据归档集成系统，包括生产库模块、在线历史库模块、离线归档库模块、高端分布式存储模块和高端分布式存储模块；

所述生产库模块作为写库，所述在线历史库模块作为读库；

所述生产库模块的数据实时同步到所述在线历史库模块；

所述在线历史库模块根据数据的活跃情况将部分数据存储到所述离线归档库模块；

所述高端分布式存储模块为所述在线历史数据库提供数据存储；

所述低端分布式存储模块为所述离线归档库模块提供数据存储。

优选的，所述高端分布式存储模块为一高端分布式存储一体机。

优选的，所述低端分布式存储模块为一PC服务器。

一种历史数据归档集成方法，

对数据进行分类；

设置生产库与在线历史库实时同步，设置生产库为读库，设置在线历史库为写库，实现读写分离；

设置离线归档数据库，存储不活跃数据；

分布存储所述离线归档数据库与所述在线历史库数据。

优选的，所述在线历史库采用高端分布式存储一体机存储数据。

优选的，所述离线数据归档库采用PC服务器存储数据。

进一步的，为所述在线历史库设置数据库资源池，所述数据库资源池采用集群的方式管理。

本发明的有益效果是：

1.生产库与在线历史库实时同步，在线历史库可用于读写分离，分担生产库负担，一库多用；

生产库与在线历史库采用GoldenGate/Streams技术实现生产库与在线历史库的实时同步，生产库的数据变化会实时的同步到在线历史库，在线历史库可以作为读库，生产库作为写库，实现读写分离，最大限度的减少生产库的负担。在线历史库的数据是生产库数据的一个超集，在对近年的历史数据进行查询时，可以直接到在线历史库进行查询，方便历史数据的追溯。目前主流的归档解决方案一般把归档数据作为文件形式存放，当需要查询历史数据时，需要对归档数据进行恢复，代价较高。也有些归档解决方案支持直接对归档的文件进行查询，例如IBMOptim，但查询效率非常低，而且需要对查询功能部分进行二次开发，成本较高。本发明采用在线历史库和离线归档库实现对数据的分级存放，既能保证历史数据的可追溯性，同时也实现了历史数据方便、高效的查询。

2.分布式存储降低硬件成本；