[发明专利]信息处理装置、分布式处理系统和分布式处理方法

说明书

技术领域

本文中讨论的实施例涉及一种信息处理装置、分布式处理系统以及分布式处理方法。

背景技术

已知使用多个节点的传统分布式处理框架（诸如，Hadoop）作为用于高速处理大量数据的分布式处理技术。Hadoop划分文件并把划分的文件存储在多个节点中，并且并行地允许管理划分的文件的每个节点执行处理指令，从而执行分布式处理。

使用Hadoop分布式文件系统（HDFS）作为Hadoop数据结构的基础。HDFS是提供在多个节点之中统一的名称空间的双层结构文件系统；然而，在实践中双层结构文件系统使用每个节点中的本地文件系统管理数据。具体地，HDFS是由管理名称空间的用户层应用程序和管理物理文件输入和输出的操作系统构建的双层结构文件系统。

图9是例示传统分布式处理系统总体配置实例的示意图。图9中示出的分布式处理系统包括三个节点，即，节点A、节点B以及节点C。在节点中的每个节点中执行使用分布式处理框架的应用程序。节点A连接到本地盘A，节点B连接到本地盘B，节点C连接到本地盘C。节点C是执行管理哪个文件存储在哪个本地盘中的名称管理的主节点。

上述分布式处理系统创建文件的副本并在其中存储原始文件和副本文件。例如，在分布式处理系统中，如果文件C存储在节点C中，则作为文件C副本的副本文件C也存储在节点B或节点A中。以此方式，分布式处理系统实施文件冗余。

以下，将通过作为实例使用作为分布式处理一部分的引用（reference）过程具体描述处理实例。在这一点上，假定节点A执行的应用程序A请求节点C引用文件A。在这种情形中，节点C使用名称管理指定文件A存储在本地盘B和本地盘C这二者中。然后，节点C向应用程序A响应要使用较贴近作为请求源的节点A的本地盘B作为文件A的存储目的地。接收响应的应用程序A请求连接到本地盘B的节点B读取文件A，并然后引用从本地盘B读取的文件A。

此外，在分布式处理系统中，在由每个节点为应用程序预留的存储器区域中管理文件。当应用程序做出对要引用文件的请求时，从存储器读取主题文件，这使得可以减少处理时间。

专利文献1：日本专利公开2005-234919号公报

专利文献2：日本专利公开11-15718号公报

专利文献3：日本专利公开07-182220号公报

然而，在上述分布式处理系统的情况下，问题在于：因为未高效使用由OS内核管理的页面缓存和因而出现本地盘的输入/输出，所以未改进处理性能。

例如，如果在图9中例示的分布式处理系统中出现分布式处理，则节点C确定要处理的文件是来自在其中存储要处理文件的本地盘之中最贴近请求源节点的本地盘中存储的文件。相应地，会存在如下这种情形：代替把主题文件存储在由OS内核管理的页面缓存中的节点，请求未把主题文件存储在由OS内核管理的页面缓存中的节点处理主题文件。

在这种情形中，请求处理文件的节点从处理速度比由OS内核管理的页面缓存的处理速度低的本地盘读取文件。换言之，在整个分布式处理系统方面，即使在由OS内核管理的页面缓存中存储的文件是要读取的文件时，有时也会通过执行低速盘的输入/输出处理读取文件。

此外，执行了低速盘输入/输出处理的节点把从本地盘读取的文件存储在由OS内核管理的页面缓存中。在这一点上，在丢弃来自由OS内核管理的页面缓存的其它文件之后，节点缓存读取的文件，而致使其它文件缓存命中率的减小。

如上所述，在传统分布式处理系统的情况下，未高效使用页面缓存，因而难以提高处理性能。此外，用于通过在为应用程序预留的存储器区域中存储数据提高吞吐量的方法因为需要在存储器中存储大量文件所以不切实际。

相应地，在本发明实施例的一个方面中目的是提供可以提高处理性能的信息处理装置、分布式处理系统、缓存管理程序以及分布式处理方法。发明内容

根据实施例的方面，信息处理装置包括：接收单元，从信息处理装置以分布式方式执行处理的分布式处理系统中的多个信息处理装置之一接收数据的访问请求；查询发出单元，在接收单元接收到数据的访问请求时关于数据是否存储在由信息处理装置的每一个上的操作系统管理的页面缓存中向信息处理装置中的每一个发出查询；以及响应单元，用于对访问请求做出响应，该响应作为访问目的地已经指定响应由查询发出单元发出的查询的信息处理装置。

附图说明

图1是例示根据第一实施例的分布式处理系统总体配置实例的示意图；

图2是例示根据第一实施例的分布式处理系统中主节点配置的功能框图；