[发明专利]基于数据仲裁者副本的分布式存储系统及方法

说明书

技术领域

本发明涉及分布式存储系统，特别是涉及基于数据仲裁者副本的分布式存储系统及方法。

背景技术

随着信息技术的发展，全球数据呈爆炸式增长。集中式存储服务器过度依靠传统磁性存储设备，操作不便，性能难以得到扩展，而近期出现的在线集中式存储服务器，技术亟需完善，无法满足系统高可靠，可扩展性等要求，而且会是性能热点，异常出错的情况时有发生。在线的分布式存储很好的解决了这些问题。

ceph是一套开源统一分布式存储系统，具有优异的数据存取性能，系统可靠性有明显提升，同时具有存储性能的可扩展性，在电子商务，在线企业数据管理和大规模数据存储和分析等领域都有广泛的使用，并获得了大量的开源组织的支持，加速了新型分布式存储系统的普及。ceph虽然作为一个成功的开源项目，得到各个领域工作人员的广泛应用，但ceph也存在一些问题，有待改进。ceph中使用单个数据存储对象数据的多个副本备份的存储策略，以此保证数据的高可靠，在出现掉线等异常的情况下，不易丢失存储信息。在实际生产环境中为避免两套副本的解决方法引起的分布式存储“脑裂”问题，一般使用三副本的方法来保证了数据存储的较高可靠性，但三副本策略在高性能的分布式块存储设备的条件下，其有效的数据存储容量被过分压缩，硬件成本过高的劣势也很明显，不利于在实际生产过程中的推广实施并投入使用。且三副本的存储方法导致存储操作对象、操作历史信息以及读写数据信息需要被放大写三倍，才能保证三副本方法的实施，在写入效率也不高的问题。

在数据的读写流程方面ceph采用的是ROWA(Read-One-Write-All)的基本策略，Write操作必须将存储数据对象所包含的信息写入所有副本进行备份，所有的Read操作都从主副本读取存储数据对象及列表信息。存储操作发生的客户端将直接和数据备份模块显示平台OSD(on-screemdisplay)1通信，客户端向分布式存储服务器发送写入操作请求，发起数据对象写入操作(Write1)。数据副本存储模块显示OSD(Object-basedStorageDevice，基于对象的存储设备)1收到写入操作请求后，分别向数据副本存储模块OSD(Object-basedStorageDevice，基于对象的存储设备)2和数据副本存储模块OSD(Object-basedStorageDevice，基于对象的存储设备)3发起数据对象写入操作(Write2、Write3)。当数据副本存储模块OSD(Object-basedStorageDevice，基于对象的存储设备)2和数据副本存储模块显示平台OSD(Object-basedStorageDevice，基于对象的存储设备)3各自完成数据对象写入操作后，将分别向数据副本存储模块显示平台OSD(Object-basedStorageDevice，基于对象的存储设备)1发送完成写入的相应确认信息(Ack4，Ack5)。当数据副本存储模块显示平台OSD(on-screemdisplay)1确信其他两个数据副本存储模块显示平台OSD(Object-basedStorageDevice，基于对象的存储设备)的数据对象写入操作完成后，则数据副本存储模块OSD(Object-basedStorageDevice，基于对象的存储设备)1也完成数据写入，并向客户端确认数据对象写入操作完成(Ack6)。这样的实现保证数据对象写入操作过程中的可靠性，尽可能避免造成分布式存储系统遇到异常时可能产生的数据丢失问题，简化了系统实现的机构复杂度和实现难度，在有限程度上提高了数据的读取性能，但由于需要所有副本全部写入，势必造成数据写入确认机制冗杂，数据对象写入操作延时较大，系统整体每秒平均输入输出IOPS(Input/OutputPerSecend)不高的问题。

综上，现有技术中是ceph分布式存储系统对数据存储和输入输出以及写入和读出操作的控制方法中，为防止双副本产生的脑裂问题而采用三副本的存储策略，从而产生了写入效率不高和存储设备实际使用率低的问题，提高了系统的冗余容量成本，写入性能相对低下。使用三副本写入方法还会产生的写入延时和每秒输入输出慢的问题。

发明内容

鉴于以上现有技术的缺点，本发明的目的在于提供基于数据仲裁者副本分布式存储系统及方法，用于解决有效存储空间相对较小以及现有技术中双副本存储方法存在的脑裂等问题。