[发明专利]数据管理系统及方法

说明书

本发明公开了一种数据管理系统及方法。设置于本地存储设备，用于管理目标系统的一致性协议数据，其中，数据管理系统包括：日志存储模块，数据块查找模块；日志存储模块用于存储一致性协议日志，日志存储模块与本地存储设备的输入端口数据连接，其中，一致性协议日志用于记录目标系统进行一致性操作的日志；数据块查找模块用于查找存储在本地存储设备的数据块，数据块查找模块与本地存储设备的输入端口数据连接，其中，数据块为目标系统进行一致性操作的数据块。本发明解决了相关技术中在分布式系统会在本地存储数据和日志，与本地文件系统的日志重复，导致浪费本地资源空间的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据管理系统及方法。

背景技术

企业存储对于一个企业而言是非常重要的，如果重要的数据被破坏就会对企业的生产造成巨大影响，所以必须要对数据进行备份确保数据的绝对安全。企业存储的数据存储量远大于个人存储，由于存储量很大，在管理上企业存储比个人存储更难于维护。

企业存储分为集中式存储和分布式存储，集中式存储将物理介质集中放置，对机房环境要求高，需要专用的服务器和存储设备，设备价格和维护成本比较高；而分布式存储可以采用低端的小容量的存储设备分布存储，物理介质可以分布到不同的地方，并且设备价格和维护成本比较低，分布式存储还可利用多态存储服务器分担存储负荷，便于扩展。

随着当今社会电子设备的普及，全球的存储量呈现爆发式增长，将所有业务单元集中部署在一个或者若干个大型机上的集中式存储，已经越来越不能满足当今计算机系统。集中式存储扩展性较差，当数据量或业务量增大时，往往只能向上升级到更高的配置，在集中式架构下，单个服务器造价昂贵，成本大；并且集中式存储长期存在单点问题，一旦一台大型主机出现了故障，整个系统就会处于不可用的状态，恢复数据压力很大；相比于集中式存储，分布式存储的扩展性更好，能很快适应数据量的增长，分布式存储技术能将恢复数据压力分担到多个节点上，恢复数据的速度要快于集中式存储，可以说在未来，分布式存储的地位会越来越重要。

数据的可靠性是存储系统的第一要务，为了提供数据可靠性，分布式存储系统将数据拷贝形成多个副本，将这些副本存放到不同的硬盘上，这样即使损坏了一块硬盘，但是其它硬盘上的存有这份数据的副本，数据仍然不会丢失；硬盘损坏后，存储系统一般会及时感知并补全丢失的副本，多副本带来了数据的可靠性，但是也带来了数据一致性的问题，也就是要保证处于不同硬盘上的不同副本之间的数据应该完全一样，这样在使用副本恢复后，数据还是和之前完全一样的；如果副本之间数据同步不及时，就有可能发生前面写入的数据读取不到，或者前面读到的数据后面读不到的情况，数据一致性分为强一致性和弱一致性，强一致性即复制是同步的，弱一致性即复制是异步的；当用户向分布式存储系统写入数据时，当数据成功写入返回后立马读取时能获得同样的数据，这就是强一致性；当数据成功写入并返回后读取时数据存在延迟，与写入的数据存在不一致，那就是弱一致性；实现强一致性算法一般有Paxos协议、Raft等分布式一致性协议，Raft协议相较于Paxos协议容易实现，被很多分布式存储系统所采用，通过Raft协议可以解决数据一致性的问题。

快照是存储系统在某一时刻数据的映像，快照的作用主要是能够进行在线数据备份与恢复。当存储设备发生应用故障或者文件损坏时可以进行快速进行数据恢复，将数据恢复到某个可用的时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。