[发明专利]基于高带宽存储系统的数据同步方法

说明书

本发明提供了一种基于高带宽存储系统的数据同步方法，该方法包括：将簇封装成定长数据段，执行纠删码算法生成多个编码对象，分散到不同节点上存储；当收到文件读取请求后，解析文件标识符查询相应文件的簇列表，然后查询出其所属的对象的标识符和编码对象组的标识符，一并存储到专门的结构；根据该结构中信息读取各簇的数据；查找到对象所存放的位置，然后通过簇标识符在该对象的簇索引内进行查找，找到该簇在对象内的偏移地址和长度，最后读取区间的数据；按照所述结构中指定的顺序拼装成原始文件。本发明提出了一种基于高带宽存储系统的数据同步方法，实现了高性能、低功耗的SSD与高带宽容灾分布式存储架构的有机结合。

技术领域

本发明涉及离线存储，特别涉及一种基于高带宽存储系统的数据同步方法。

背景技术

社会已经进入了一个数据爆炸式增长的时代。无处不在的传感器、移动网络、社交网络、微博、网页查询浏览记录、通话记录、消费记录无时无刻不在产生着大量数据。存储领域在大数据时代也面临着诸多挑战。这些挑战不仅仅是海量数据的存储问题，更重要的是从体系结构、系统软件等方面对上层应用高效地处理数据提供相应的支撑，以满足不同的上层应用需求。存储领域从上层软件系统到底层存储设备都正发生着改变。众所周知，SSD固态存储可兼容传统存储系统，并具有高性能、低功耗等优点，被广泛使用在IO密集型应用环境中替换传统机械硬盘。而目前正在使用的云计算平台大多是基于机械磁盘设备进行设计的，SSD由于在内部机制上与磁盘设备完全不同，这使得针对机械磁盘设计的软件系统没有充分利用SSD的特性。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于高带宽存储系统的数据同步方法，包括：

SSD节点在接收到文件划分成的簇时，将其封装成定长数据段，

随后将多个定长数据段分成一组，执行纠删码算法生成多个编码对象；

将编码对象组内的各个对象分散到不同节点上存储；

对于同一个或同一批文件所属的新簇，将其封装并分组编码生成的编码对象组调度到同一组节点存储；

当接收到文件读取请求后，解析请求中附带的文件标识符；

根据文件标识符查询相应文件的簇列表，包括查询该文件包含的所有簇的标识符，然后根据各簇的标识符查询出其所属的对象的标识符，根据对象的标识符查询出对象所属的编码对象组的标识符，再通过对象组的标识符查询出该对象所在的SSD节点的标识符；

全部查询完成后，将文件所包含的所有簇的标识符列表、各簇所属对象的标识符以及该对象所在SSD节点的标识符信息都一并存储到专门的结构；

根据该结构中包含的簇标识符列表和各簇的存放位置信息，从相应的SSD节点读取各簇的数据；

SSD节点通过对象标识符查找到对象所存放的位置，然后通过簇标识符在该对象的簇索引内进行查找，找到该簇在对象内的偏移地址和长度，最后读取相应区间的数据；

按照所述结构中指定的顺序拼装到一起，最终组合成原始文件。

优选地，所述分布式存储系统当检测到某个SSD节点失效时，其首先查询该节点所包含的所有对象的信息，然后调度系统内多个健康节点同时开展恢复工作，各自负责一部分对象的恢复；

当SSD节点超载时，通过纠删编码算法由其他轻载节点上的对象计算出该超载节点上的对象，进而将对象副本临时存放在这些轻载节点上并对外提供服务，减轻超载节点的负担；