[发明专利]松散环境下分布式大数据计算的中间件体系框架

说明书

技术领域

本发明涉及的是一种松散环境下分布式大数据计算的中间件体系框架，对应于云计算中PAAS&IASS层，用来构建专门的高效大数据计算应用（如云计算环境下视频处理应用），亦可应用于异构MPSoC及多电路板计算机体系软件运行环境中。

背景技术

开源的云基础软件如Nimbus和Eucalyptus, 允许组织团体建立自己的云系统来促进计算设备资源的利用，我们可以设想对需要进行集中大数据运算如智能监控的用户而言计算能力的获取已经不再是障碍。然而，要进行这样的计算必须满足两个主要的先决条件： (i) 编程模式的简易性，能更好的支持服务质量如容错性和监控型，(ii) 要有适当的并行模式来实行高效机制。

云技术（特别是其中的分布式大数据计算框架）如Hadoop, Dryad, 和 HPCC 应用到大数据计算应用（如视频处理中视频摘要提取），经验表明尽管大多数所谓的并行应用程序可以借助云技术但需要面对复杂通信模式和高强度计算性能的要求，而当前框架设计即使用上MPI仍然无法满足运行效率要求。

发明内容

本发明提出的是一种松散环境下分布式大数据计算的中间件体系框架，其目的旨在采取一种代理加功能管理器加功能实体的方案，通过共享内存管道及可加速的本地实现解决现有框架的运行效率问题，同时通过代理加功能管理器方式维护并提高了现有框架在任务调度，状态监控等方面的一致性和有效性。

其中各种不同模块的接口被类似MPI的技术很好的定义。这些接口允许各种不同的模块可以在相关环境下协同使用，如代理模块就可以用任何一种语言编写例如java/C#/ECL，提高了中间件体系框架的适用性，如可嵌入现有云分布式计算框架或异构MPSoC及多电路板计算机体系软件运行环境中。

本发明的技术解决方案：松散环境下分布式大数据计算中间件体系框架，对应于PAAS&IASS层，适用于云大数据计算应用，亦可应用于异构MPSoC及多电路板计算机体系软件运行环境中，其特征是包括代理模块，功能模块和功能管理模块，以视频分析为例各模块的操作步骤如下：

步骤一：通过数据源代理模块，连接数据源及格式转换功能管理模块，启动数据源及格式转换任务（功能模块），功能管理模块同时分配共享内存通道作为数据源及格式转换任务（功能模块）输出，相关信息（含共享内存接口信息反映在代理模块中）；

步骤二：通过算法代理模块， 连接算法功能管理模块，启动算法分析任务（功能模块），功能管理模块同时分配共享内存通道作算法分析任务（功能模块）输入，相关信息（含共享内存接口信息反映在代理模块中）；

步骤三：待处理云数据在信号的帮助下在共享内存的通道内高速传输，同时算法分析任务等功能模块以本地操作系统实现或硬件加速单元等方式高速执行，并上传/存储相应分析结果；

步骤四：各功能模块的任务完成进度及任务状态将频繁的报给特定的功能管理模块，并等待代理模块请求时（现有云框架的任务调度，状态监控需求），由功能管理模块提交给代理模块；

步骤五：任务完成后，通过代理模块，提交请求给对应功能管理模块，关闭视频解码任务和算法分析任务（功能模块）。

 本发明的优点：解决了常用云分布式计算框架（Hadoop、Drayd、HPCC)等无法高效解决视频分析等大数据计算应用的复杂通信机制及效率低下的问题。同时可采用MoC（计算模式），如数据流模式（DataFlow）在云计算框架中显式体现和拓展应用的并行模式。 该中间件体系框架采用的代理加功能管理器加功能实体模式在云操作系统环境中支持运行更加稳健和开发更加敏捷的客户端+云的软件开发。实验性的评估展示了在其帮助下Hadoop云视频计算应用取得了优异的表现，并且提供了实质上更好的编程简易性和系统稳健性。  

附图说明

附图1是 Rhizome 构架及云系统框架部署运行示意图。

附图2是 Rhizome 构架及云系统框架接口操作示例时序图。 

具体实施方式

对照附图1，其结构包括代理模块，功能模块和功能管理模块，各模块的操作步骤如下：

步骤一：通过数据源代理模块，连接数据源及格式转换功能管理模块，启动数据源及格式转换任务（功能模块），功能管理模块同时分配共享内存通道作为数据源及格式转换任务（功能模块）输出，相关信息（含共享内存接口信息反映在代理模块中）；