[发明专利]混合数据查找方法

说明书

提供一种在包括多个存储设备的分布式环境中存储数据的方法，所述方法包括：接收存储所述数据的请求；通过将散列计算函数应用于与所述数据相关联的值来计算散列值；将所述散列值分割成多个权重，每个权重与多个块中的一个块相对应；基于所述权重选择所述多个块中的块；以及将所述数据存储在对应存储设备中，所述对应存储设备与所选择的块相对应。

相关申请的交叉引用

本申请要求2017年3月1日递交的题为“HYBRID DATA LOOKUP MET HODS”的美国临时申请No.62/465,684的优先权和权益，其全部内容以引用方式并入于此。

技术领域

根据本发明的实施例的一个或多个方面涉及分布式数据存储系统，并且更具体地涉及管理分布式环境中的数据(例如，通过使用键值固态驱动器(KV SSD))。

背景技术

相关的分布式数据存储系统以不同的方式使用散列函数的输出来处理数据放置和缓存。

相关技术文件系统使用基于信息节点(inode)的元数据来管理空间。这涉及将映射(文件系统标识(ID)，文件中的偏移量)转换为设备逻辑块地址。读/写期间的元数据管理直接涉及对底层设备执行输入/输出(IO)，导致更高的用户IO延迟。

发明内容

根据本发明的实施例的各方面涉及使用基于权重的方法来管理分布式环境中的数据的方法。

根据本发明的实施例，提供一种在包括多个存储设备的分布式环境中存储数据的方法，所述方法包括：接收存储所述数据的请求；通过将散列计算函数应用于与所述数据相关联的值来计算散列值；将所述散列值分割成多个权重，每个权重与多个块中的一个块相对应；基于所述权重选择所述多个块中的块；以及将所述数据存储在对应存储设备中，所述对应存储设备与所选择的块相对应。

所述分布式环境还可以包括多个存储设备空缺，所述多个存储设备空缺中的每一个指示用于添加未来的存储设备的保留地点。所述多个块中的每一个块可以与所述多个存储设备中的一个或所述多个存储设备空缺中的一个相对应。选择所述块可以包括：确定所述多个块中的最高权重的块；确定所述最高权重的块是与所述多个存储设备中的一个还是与所述多个存储设备空缺中的一个相对应；当所述最高权重的块与所述多个存储设备中的一个相对应时，选择所述最高权重的块；以及当所述最高权重的块与所述多个存储设备空缺中的一个相对应时：确定与所述多个存储设备相对应的所述多个块当中的具有最高权重的块；以及选择所述与所述多个存储设备相对应的所述多个块当中的具有最高权重的块。

可以向所述多个存储设备和多个存储设备空缺中的每一个分配设备标识(ID)，所述设备ID指示所述多个存储设备添加到所述分布式环境的顺序或者未来的多个存储设备将填充所述分布式环境中的所述多个存储设备空缺的顺序。每个所述块可以包括块ID，所述块ID等于与所述块对应的所述多个存储设备中的一个存储设备的设备ID或与所述块对应的所述多个存储设备空缺中的一个存储设备空缺的设备ID。当所述最高权重的块与所述多个存储设备中的一个相对应时，可以将所述数据存储在所述对应存储设备中的跳容器中，所述跳容器的对应跳数值等于零。当所述最高权重的块与所述存储设备空缺中的一个相对应时，可以将所述数据存储在所述对应存储设备中的跳容器中，所述跳容器的对应跳数值等于：所述最高权重的块的块ID减去分配给任何一个所述存储设备的最高设备ID。

与特定跳容器相对应的跳数值可以指示：在将所述特定跳容器中的数据移动到新的存储设备之前要将另外多少个存储设备添加到所述分布式环境。

所述方法还可以包括：确定与所述多个存储设备相对应的所述多个块中的第二高权重的块；以及将所述数据的副本存储在第二对应存储设备中，所述第二对应存储设备与所述第二高权重的块相对应。在所述分布式环境中，当接收到数据读取请求时，可以并行读取存储在所述对应存储设备中的所述数据的一部分和存储在所述第二对应存储设备中的所述数据的所述副本的不同部分。