[发明专利]一种跨编程语言的分布式计算框架

说明书

本发明涉及一种跨编程语言的分布式计算框架，包括一个控制节点和与其通过以太网连接的多个计算节点，控制节点包括：控制核心、消息队列系统、容器引擎和页面集成开发环境Web IDE；控制核心用于在接收到Web IDE转发的消息或请求后，根据多个计算节点的负载情况和计算任务量，将计算任务和原始计算数据通过消息队列系统进行下发至各个计算节点，并收集各个计算节点的计算结果传回给Web IDE；容器引擎用于封装和运行由控制核心下发的每个文件系统镜像，每个文件系统镜像为一个计算单元；Web IDE用于将用户通过终端输入的消息或请求转发至控制核心，并为用户提供控制核心收集的计算结果。本发明解决了在分布式计算中无法跨编程语言计算的问题。

技术领域

本发明涉及分布式计算技术领域，尤其涉及一种跨编程语言的分布式计算框架。

背景技术

目前的分布式计算技术及常用框架对编程语言依赖较为严重，虽然消息传递接口MPI在设计之初考虑到了跨编程语言、跨平台，但从目前已有的成熟框架来看，不同的框架均有自己特定的编程语言，以MPICH为例，只可使用C/C++进行编程。因此，目前的分布式计算框架普遍依赖其特定的编程语言，无法真正做到跨编程语言和兼容绝大多数的编程语言。对于跨学科的研究人员来说，一旦选定了分布式计算框架即选定了编程语言，无形中增加了学习和科研的时间成本。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种跨编程语言的分布式计算框架，只需要用户按照指定的编程规范，即可将自己的程序集成入本发明，从而增强计算能力或缩短计算时间，有效降低时间成本。

本发明解决上述技术问题的技术方案如下：

一种跨编程语言的分布式计算框架，包括：一个控制节点和与其通过以太网连接的多个计算节点，其中，所述控制节点包括：控制核心、消息队列系统、容器引擎和页面集成开发环境Web IDE；

所述控制核心用于在接收到所述Web IDE转发的消息或请求后，根据多个所述计算节点的负载情况和计算任务量，将计算任务和原始计算数据通过所述消息队列系统进行下发至各个所述计算节点，并收集各个所述计算节点的计算结果传回给所述Web IDE；

所述容器引擎用于封装和运行由所述控制核心下发的每个文件系统镜像，所述每个文件系统镜像为一个计算单元，包括计算任务和与计算任务对应的原始计算数据；

所述Web IDE用于将用户通过终端输入的所述消息或请求转发至所述控制核心，并为用户提供所述控制核心收集的计算结果。

本发明的有益效果是：提供了一种跨编程语言的分布式计算框架主要解决在分布式计算中无法跨编程语言计算的问题，让几乎所有的编程语言均可进行分布式计算，大大降低了分布式计算对特定编程语言的依赖，让更多之前无法进行分布式计算的语言可以进行分布式计算。同时，也降低了计算机交叉学科科研人员的时间成本，使用任意一门自己擅长的编程语言即可立即进行分布式的高性能计算。

另外，通过在控制节点和计算节点之间采用以太网通信，保证了节点之间、用户终端与控制节点之间可以进行高速稳定的TCP和UDP通信。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，每个所述计算节点包括：分控制核心和容器运行引擎，

所述分控制核心用于将所述控制核心下发的计算任务和原始计算数据发给所述容器运行引擎，并收集所述容器运行引擎得到的计算结果返回给所述控制核心；

所述容器运行引擎用于运行和调度计算节点内部的各个计算任务。

采用上述进一步方案的有益效果是：解决计算任务在计算节点内的调度问题。

进一步地，所述分控制核心具体通过Socket从所述消息队列系统获取计算任务和原始计算数据并返回计算结果。