[发明专利]分布式海量数据处理方法及装置

摘要

本发明提供一种分布式海量数据处理方法及装置，包括：向元数据服务器发送索引请求；接收元数据服务器返回的可用服务器列表；对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为分块数据分配数字编号；以分块数据的分块信息为键值，将分块数据的存储位置映射到可用服务器标识列表中；将与第二数据索引服务器标识对应的分块数据发送给第二数据索引服务器，以对分块数据进行存储；接收元数据服务器返回的索引完成信息。采用上述方法及装置，多个第二数据索引服务器可同时对接收到的分块数据进行存储，极大的提高了存储效率，并且通过索引完成信息即可完成在对存储的原始数据的查找，极大的提高了检索的效率。

主权项

1.一种分布式海量数据处理方法，其特征在于，包括：客户端向元数据服务器发送索引请求；客户端接收所述元数据服务器返回的可用服务器列表；可用服务器列表包括一个或多个第一数据索引服务器标识，所述第一数据索引服务器标识与所述第一数据索引服务器一一对应；客户端对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为所述分块数据分配数字编号；所述分块数据包括分块信息，所述分块信息包括所述分块数据所属的原始数据的文件名称、当前时间戳、数字编号和通用唯一识别码UUID；客户端根据分布式一致性哈希算法，以所述分块数据的所述分块信息为键值，将所述分块数据的存储位置映射到所述可用服务器标识列表中，以获得与所述分块数据对应的第二数据索引服务器标识，其中，第一数据索引服务器标识包括第二数据索引服务器标识；客户端将与第二数据索引服务器标识对应的所述分块数据发送给第二数据索引服务器，以使得所述第二数据索引服务器对所述分块数据进行存储；客户端接收元数据服务器返回的索引完成信息，其中，所述索引完成信息包括索引存储目录，所述索引存储目录为所述第二数据索引服务器对所述分块数据进行存储后生成的用于查找所述分块数据的目录，所述索引存储目录由所述第二数据索引服务器发送给所述元数据服务器。