[发明专利]一种分布式多站融合系统信息冗余存储与重构的方法

说明书

本发明公开了一种分布式多站融合系统信息冗余存储与重构的方法。基于数据动态备份冗余,借助数据的再生和转移,引入元数据概念实现了分布式多站融合系统的信息备份冗余存储与重构。该方法主要由六个模块组成：数据分割、副本备份策略、副本备份、副本更新、副本备份检测、副本还原重构，同时还设定了备份站点的运行周期。利用元数据和副本备份实现动态信息备份冗余存储、更新、检索、检测和重构，在副本备份重构时提供了重构数据块的选取算法。

技术领域

本发明属于计算机领域，特别涉及一种分布式多站融合系统信息冗余存储与重构的方法。

背景技术

随着云计算和“互联网+”应用的普及，分布式存储系统在电网系统中得到广泛的应用，用户访问不良特征和系统软硬件的错误导致站点的失效非常之多。为了提高分布式存储系统的可靠性，系统通常引入良好的数据冗余机制和数据修复策略.当系统发生站点失效时，保证持续的可靠性，系统需要将失效站点上的数据重新修复到新的站点上.

随着时代的发展，数据量逐渐增加，在这样的背景下，不只数据量增加了，数据的来源也更加多元和多样，这即为数据的处理带来了挑战，也带来了提升的空间，更多的数据来源意味着信息量和信息维度的增加，使得数据挖掘和预测的效果得到提升。电网系统的数据量巨大，传统单机数据分析挖掘系统已经无法满足大数据量、高数据吞吐、高处理速度的要求，需要使用分布式系统进行处理。但是传统数据挖掘算法需要进行一定的变化才能在分布式平台下实现，同时一些算法需要根据分布式平台特点做出一些改变才能达到较高的效率。

由于分布式系统的优势，数据库的发展也逐渐进入了分布式的阶段.相比传统集中式数据库，分布式数据库可以通过动态增加存储节点来实现存储容量的横向扩展.并且，分布式数据库为了保证数据的安全和可靠存储，往往会采用备份的策略.数据多副本存储不仅能够提供可靠、安全的存储，还可以提高系统查询的并发量.由分布式数据支持横向扩展和多副本安全存储的特性，越来越多的企业开始采用分布式数据库作为自己的数据存储分析平台.而为了设计高可用的分布式并行数据库系统,计算机工作者除了从系统结构去探索外,更注重系统内部机制的研究与实现,系统重构就是内部机制实现的关键技术之一。系统重构是分布式系统实现容错的主要措施。在分布式系统中,各站点自治性导致其加入和退出的随机性,站点自身软硬件缺陷、网络和自然因素等造成其故障的不可预测性。因此,要设计高可用的分布式系统,就必须解决好站点状态变化的系统重构问题,其实现的好坏直接影响着系统数据资源的可用性。

发明内容

为了解决现有技术中存在的缺点和不足，本发明提供了用于实现系统重构的分布式多站融合系统信息冗余存储与重构的方法。

为了达到上述技术目的，本发明提供了一种分布式多站融合系统信息冗余存储与重构的方法，该方法包括以下具体步骤：

步骤一：动态数据冗余与备份，利用副本备份、副本分割技术来实现数据的冗余存储，对副本和元数据进行更新；

步骤二：数据还原检测，在数据还原前对副本进行选取，对选取到的副本数据进行完整性检测；

步骤三：数据还原重构，利用元数据将存放在不同站点位置的数据进行还原。

可选的，所述动态数据冗余方法具体包括：

副本分割：数据块以64M为单位，并将分块进行备份，并记录其元数据；

副本备份策略：一份副本需要3份备份，根据就近原则将2份备份存储在就近的两个站点内，1份存储在中心站点处，副本与其备份的元数据也存储在中心站点；

副本备份：将分割好的副本进行备份，并将其按照副本备份策略进行存储；

副本更新：副本更新采用弱一致性，即当对副本操作完成且半小时内未进行读写操作时对副本进行更新；由变动站点通知中心站点，中心站点对所管辖站点内副本备份进行更新，同时更新元数据；