[发明专利]系列数据并行分析基础设施及其并行分散处理方法

说明书

本发明涉及一种具备并行处理基础设施、管理分散配置的系列数据的分散系列数据管理部的系列数据分散处理系统，上述并行处理基础设施具备：按照每个计算设备，将系列数据中的一个顺序标签所对应的一个值通过多个顺序标签进行分组化而得的数据组；数据组处理服务器，其针对数据组进行处理；以及组处理集约服务器，其处理数据组处理服务器的结果，上述分散系列数据管理部具备用于管理数据组的分散信息管理数据库，在该分散信息管理数据库中保持管理数据，该管理数据由表示数据组的顺序标签的范围的顺序标签范围、与数据组的值名对应的系列ID以及用于确定配置了数据组的上述计算设备的元信息而构成。

技术领域

本发明涉及使用多个分散的计算机并行地处理大量系列数据的并行分散处理方法以及计算机系统。

背景技术

近年来，通过分析和处理大量的数据，发现这之前不能得到的知识并进行活用的大数据处理受到关注。大数据内，例如装置等的传感器数据等是所谓被称为系列数据的数据方式。系列数据是指针对多个数据项目设定了各个值的多个数据按照预定的顺序标签的值而排列而得的数据集合。

这样存在分析大量数据的需求，但在已知的分散分析系统中，需要对每个处理内容设计系统，系统结构的成本高。

对此，作为如专利文献1以及非专利文献1所示那样简单地安装分析处理的基础技术，公知有MapReduce框架。MapReduce框架是指通过从数据存储器提取希望数据的提取处理(映射(Map)处理)和将提取出的数据加工成容易使用的方式或统计信息等的集约处理(Reduce处理)这两个阶段来记述数据的分析处理的编程模型。这样，MapReduce框架的执行引擎能够决定分析应用的处理的分割单位，并控制并行处理。

不过，至此为止，MapReduce框架以描述针对原来Web的检索系统等主要非结构/没有顺序的数据的处理为目的，没有预料到对于系列数据，MapReduce框架的处理能力的提高。例如，在大多基础设施中作为多个任务而同时实施提取处理，因此对处理的高速化有很大贡献，但是由于通过非顺序进行其结果输出，因此难以适用移动平均或傅立叶转换等一般用于系列数据的分析方法。

在通过MapReduce框架记述这些处理的情况下，通过集约处理来实施，但是在集约处理中增大处理的基础设施数量比较困难，不能够得到充分的高速化。

对此，知道一种方法，即例如非专利文献2所示那样通过在集约处理中使用流处理基础设施来进行高速化。但是，即使在使用了流处理基础设施的情况下，也会存在如下问题，即在提取处理中产生直到提取所有数据为止的等待时间，直接通过网络等将提取的数据发送给另外的服务器等通信的负荷变高等。进而，在结果的写入处理中，在系列数据的情况下，集约处理的结果不限于能够充分地削减数据量而是需要再配置大量的数据等，造成通信和处理的负荷增大，速度的下降。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2008/0086442号说明书

非专利文献

非专利文献1：“MapReduce:Simplified Data Processing on Large Clusters”Jeffrey Dean，Sanjay Ghemawat，Google，Inc.OSDI’04：Sixth Symposium on OperatingSystem Design and Implementation，San Francisco，CA，December 6，2004.

非专利文献2：“SCOPE：parallel databases MapReduce”Jingren Zhou，NicolasBruno，Ming-Chuan Wu，Per-Ake Larson，Ronnie Chaiken，Darren Shakib，MicrosoftCorp.,The VLDB Journal

发明内容