[发明专利]一种基于.NET平台的Map‑Reduce分布式计算的模型方法

说明书

技术领域

本发明一般涉及基于计算机处理的分布式计算领域，具体涉及一种基于.NET平台的Map-Reduce分布式计算的模型方法。

背景技术

近半个世纪以来，信息量的爆炸性增长促使科学计算进入多核并行时代。在并行计算模型方面，Viliant提出了BSP模型，将计算划分为一个一个的超步，以硬件实现障碍同步的方式控制粗粒度级，但超级步的长度必须适应任意的h-relation，且全局障碍同步需要特殊硬件的支持。后来Leslie G在BSP模型的基础上提出了Multi-BSP模型，假设多个BSP模型中处理单元可通过点对点通信，有利于BSP模型的移植和分析，对于处理核和缓存的抽象仅局限于BSP模型的处理单元。Arge, L提出了PEM模型，以此分析几种通用基础并行算法的I/O复杂度，但并没有考虑缓存分层结构。然而单机的多核并行计算模型并不利于计算量的拓展，分布式计算更适合于超大规模的科学计算。

在分布式计算方面，Google提出了MapReduce模型，将计算问题抽象为Map和Reduce两个阶段的操作，但由于未能摆脱对系统软硬件环境的依赖，很多学者在此模型基础上进行优化创新。如Douglas等人在开源搜索引擎系统Nuth上创立的Hadoop并行计算框架，依赖HDFS将一个任务分解成映射与合并两种方式，通过映射进行简化，从而产生部分归并结果，然后对同类结果进行归并计算。也有人尝试设计更多并行计算框架，具有代表性的有Spark，以Scala语言实现，不再需要读写HDFS，同时在某些工作负载方面表现的更加优越。此外，Leslie Lamport提出的Lamport算法以及Paxos算法[8]也为分布式计算做出了贡献。

发明内容

本发明针对目前优秀的分布式计算模型匮乏的情况，为.NET平台下的分布式计算架构设计了一种一种基于.NET平台的Map-Reduce分布式计算的模型方法——NETRMR，封装了系统容错和负载平衡的模块支撑，简化分布式计算环境下并行编程的复杂性。

一种基于.NET平台的Map-Reduce分布式计算的模型方法具体技术方案如下：

（a）通过Map-Reduce接口输入数据;

（b）将数据提交到ManagerConsole；

（c）SolutionArray将数据分派至RegLoader，RegLoader启动Worker进行计算，由Reducer负责回收；

（d）获得数据的RegLoader主动注册形成MachineList。

上述方案中，步骤（c）包括以下步骤：

(c-1) SolutionArray将数据分派至各个RegLoader中，由RegLoader对数据进行分配处理；

（c-2）各个RegLoader启动若干个Worker进行计算；

（c-3）Reducer负责整理、归纳、回收由Worker计算后产生的结果。

与现有技术相比，本发明具有如下优点和技术效果：

本发明封装了系统容错和负载平衡的模块支撑，简化分布式计算环境下并行编程的复杂性，使得该模型具有较广泛的适用性。

附图说明

图1为实施方式中一种基于.NET平台的Map-Reduce分布式计算的模型方法流程图。

具体实施方式

以下结合附图对本发明的实施方式作进一步说明，但本发明的实施不限于此。

一种基于.NET平台的Map-Reduce分布式计算的模型方法，如图1所示，主要包括以下步骤：

（a）通过Map-Reduce接口输入数据;

（b）将数据提交到ManagerConsole；

（c）SolutionArray将数据分派至RegLoader，RegLoader启动Worker进行计算，由Reducer负责回收；其具体步骤为：

(c-1) SolutionArray将数据分派至各个RegLoader中，由RegLoader对数据进行分配处理。

（c-2）各个RegLoader启动若干个Worker进行计算；

（c-3）Reducer负责整理、归纳、回收由Worker计算后产生的结果；

（d）获得数据的RegLoader主动注册形成MachineList。