[发明专利]分布式计算方法、装置及平台

说明书

本公开公开了分布式计算方法、装置及平台，涉及数据处理技术领域，尤其涉及云计算技术领域、大数据技术领域。具体实现方案为：接收作业任务请求，其中，作业任务请求中包括：对象标识和作业任务；确定对象标识对应的虚拟私有云的私有网络区中的调度节点；将作业任务分配给调度节点，以使调度节点选择私有网络区中的执行节点执行作业任务，从而实现多个对象的作业任务之间的资源隔离，稳定对象的作业任务的执行时间，提升作业任务的执行效率。

技术领域

本公开涉及数据处理技术领域，尤其涉及云计算技术领域、大数据技术领域，尤其涉及分布式计算方法、装置及平台。

背景技术

目前的分布式计算框架中，采用Spark引擎+Hadoop Yarn调度系统的结构，HadoopYarn调度系统在基础网络区部署调度节点和执行节点，提供基于线程监控的内存使用机制和基于Cgroup的资源隔离机制。上述方法中，Hadoop Yarn调度系统的资源隔离机制差，作业任务的执行时间和效率波动大。

发明内容

本公开提供了一种分布式计算方法、装置及平台。

根据本公开的一方面，提供了一种分布式计算方法，包括：接收作业任务请求，其中，所述作业任务请求中包括：对象标识和作业任务；确定所述对象标识对应的虚拟私有云的私有网络区中的调度节点；将所述作业任务分配给所述调度节点，以使所述调度节点选择所述私有网络区中的执行节点执行所述作业任务。

根据本公开的另一方面，提供了一种分布式计算装置，包括：接收模块，用于接收作业任务请求，其中，所述作业任务请求中包括：对象标识和作业任务；确定模块，用于确定所述对象标识对应的虚拟私有云的私有网络区中的调度节点；分配模块，用于将所述作业任务分配给所述调度节点，以使所述调度节点选择执行节点执行所述作业任务。

根据第三方面，提供了一种分布式计算平台，包括：部署在集群上的服务的虚拟私有云和对象的虚拟私有云，其中，所述对象的虚拟私有云的私有网络区中部署有调度节点和执行节点；所述服务的虚拟私有云与所述对象的虚拟私有云相互通讯，为所述调度节点分配对象的作业任务，所述调度节点选择执行节点执行所述作业任务。

根据第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的分布式计算方法。

根据第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的分布式计算方法。

根据第六方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的分布式计算方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是分布式计算平台的示意图；

图6是用来实现本公开实施例的分布式计算方法的电子设备的框图。

具体实施方式