[发明专利]一种海量数据分布式云存储的方法

说明书

本发明涉及一种海量数据分布式存储的方法，为云计算存储技术领域，本发明首先提出对存储基础设施进行分层次管理的系统架构，然后基于副本放置策略，形成副本放置规则，进而提出针对副本的函数映射的流程方法。通过本专利提出的函数映射方法，可简化读写流程，并提升文件读写效率。可应用于云操作系统分布式存储中。

技术领域

本发明涉及数据存储技术，尤其涉及一种海量数据分布式云存储的方法。

背景技术

云操作系统能对包括处理器、存储、网络在内的硬件资源进行统一管理。在当前的云操作系统应用部署中，数据存储主要有两种用途：(1)用户接口存储，即提供给用户所使用的存储；(2)系统所需存储，例如虚拟机镜像存储。

由于数据存储是关键性能点，通常会采用分布式存储架构。在云操作系统管理的分布式存储中，通常会将文件分成多个块，然后将每个分块生成多个副本，并分散存放在数据节点上。在定位到存储副本的数据节点时，通常会依赖元数据服务器进行分块布局的管理，即在元数据服务器产生并存储分块与该分块对应到的数据节点的映射关系。当读写文件时，访问流程通常首先会访问元数据服务器，获取该文件的布局，然后再从相应的数据节点获取各分块，最后“组装”成整个文件。使用文件布局使文件读写效率低，文件读写都需要经过元数据服务器产生或获取文件布局；再根据文件布局，进行数据块的读写。

发明内容

有鉴于此，本发明提供一种海量数据分布式云存储的方法。

本发明所述一种海量数据分布式云存储的方法，包括以下步骤，对基础设施记性分层编号，基于一个典型的IDC机房，对存储基础设施进行分层次的编号设置；第一层是行，行与机房中一排机柜相对应，一行对应多个机柜，同时一个机房可有多行；第二层是行中的机柜，每个机柜在特定的行中进行编号；第三层是机柜中硬盘，每个硬盘都在特定的机柜中，硬盘编号的方式可采用顺序编号的方式；将文件分块；基于副本放置策略，形成文件块的副本放置规则；按照副本放置规则，对副本进行函数映射。

本发明中：读取函数映射的具体流程：第一步，确定需要进行函数映射的分块，然后进行后续的分层次的函数映射；第二步，第一层进行行的映射，即确定分块将要存放到的行，在进行第一层函数映射时，可能遇到冲突，即映射到的行已经占满或失效，此时，需要进行重新映射以避免冲突；第三步，第二层进行行中机柜的映射，即确定分块将要存放到的机柜号，在进行第二层函数映射时，可能遇到冲突，即映射到的机柜已经占满或失效，此时，需要进行重新映射以避免冲突；第四步，第三层进行机柜中硬盘号的映射，即确定分块将要存放到的硬盘号。在进行函数映射时，遇到冲突，即映射到的硬盘已经占满或失效，此时，需要进行重新映射以避免冲突。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1是本发明分布式存储文件读取函数映射系统架构示意图；

图2是本发明分布式存储文件读取函数映射流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。