[发明专利]使能HADOOP分布式文件系统的扩展的可扩展基于树的索引框架

说明书

公开了可支持用于诸如Apache™ Hadoop®的分布式数据存储设备和计算系统的数据管理的文件系统。文件系统可包括可扩展的基于树的索引框架，其使能文件系统的方便扩展。作为非限制性示例，本文中公开的文件系统可使能十亿或更多文件的索引、存储和管理，这是当前可用文件系统的容量的1000倍。文件系统包括根索引系统和以树数据结构组织的多个叶索引系统。叶索引系统提供心跳信息到根索引系统，以使得根索引系统能保持文件参考和叶索引参考的轻量和可搜索索引。叶索引的每个保持文件参考到存储文件的数据存储装置内的文件块地址的索引或映射。

技术领域

本公开涉及用于改进分布式处理系统的文件系统容量的技术。

背景技术

执行“大数据”操作的技术有规律地使用Apache™ Hadoop®分布式文件系统平台或其它分布式文件系统来管理其数据。分布式文件系统在大数据操作中是有用的，因为它们使能从多种多样的应用和客户端装置对数据的远程访问和共享访问，并且能够处理大量的数据。在诸如无人驾驶车的新兴自动化领域中，需要管理比以前更多的数据。然而，传统的数据管理系统在能够被管理的文件的数量方面受现有架构约束。此类约束当前限制了技术发展。

附图说明

从与要求保护主题一致的实施例的下面详细描述中，将明白要求保护的主题的特征和优点，该描述应参照附图来考虑，其中：

图1图示了与本公开的若干实施例一致、具有可支持分布式处理系统的文件系统框架的数据管理系统的功能框图；

图2图示了与本公开的若干实施例一致、具有可支持分布式处理系统的文件系统框架的数据管理系统的功能框图；

图3是与本公开的若干实施例一致、用于具有可支持分布式处理系统的文件系统框架的数据管理系统的操作的过程的流程图；

图4是与本公开的若干实施例一致、用于提供使能文件系统的扩展的基于树的索引框架的过程的流程图。

虽然以下详细描述将参照说明性实施例继续，但其许多备选、修改和变化将对本领域技术人员显而易见。

具体实施方式

系统、设备和/或方法提供可支持用于诸如Apache™ Hadoop®的分布式数据处理系统的数据管理的文件系统。文件系统可包括可扩展的基于树的索引框架，其使能文件系统的方便扩展。作为非限制性示例，本文中公开的文件系统可使能十亿或更多文件的索引、存储和管理，这是当前可用文件系统的容量的1000倍。文件系统包括根索引系统和以树数据结构组织的多个叶索引系统。叶索引系统提供心跳信息到根索引系统，以使得根索引系统能保持文件参考和叶索引参考的轻量和可搜索索引。每个叶索引保持文件参考到存储文件的数据存储装置内文件块地址的索引或映射。就Apache™ Hadoop®文件系统而言，根索引系统可以是根名称节点，叶索引系统可以是叶名称节点，以及数据存储装置可以是数据节点。

公开的文件系统可提供高于现有文件系统解决方案的优点，因为公开的文件系统提供了文件系统的改进可伸缩性、容量、速度和/或可使用性。根索引系统接收来自客户端装置的读取文件、写入文件、更新、删除或以其它方式访问数据存储装置的访问请求。根索引系统确定哪个（哪些）叶索引系统管理访问请求的文件或目录，并且通知客户端装置与哪些叶索引系统通信以安排访问请求。客户端装置从（一个或多个）相关叶索引系统请求用于访问请求的文件或目录的数据存储装置信息（例如，数据块地址）。根据一个实施例，相关叶索引系统为客户端装置提供数据块地址、数据存储装置地址和/或其它文件元数据，以支持读取请求、写入请求或其它访问请求。根据各种实施例，客户端装置使用数据块地址、数据存储装置地址和/或其它文件元数据以直接与一个或多个数据存储装置通信，以读取文件、写入文件和/或以其它方式对数据存储装置执行访问操作。