[发明专利]计算框架、电子设备及信息处理方法

说明书

本发明实施例公开了一种计算框架、电子设备及信息处理方法，所述计算框架包括：执行器，用于根据驱动指令执行计算操作，生成执行结果；驱动器，用于生成所述驱动指令；代理组件，分别与所述执行器及所述驱动器连接，用于将所述驱动指令发送给对应的所述执行器，并将所述执行结果发送给对应的所述驱动器。

技术领域

本发明涉及电子技术领域，尤其涉及一种计算框架、电子设备及信息处理方法。

背景技术

Spark计算框架是一种基于内存的计算框架。在Spark计算框架中包括执行器以及与执行器直接相连的驱动器。所述驱动器是驱动器工作的。驱动器，主要负责计算任务的解析、将计算任务拆分成各个计算阶段，将各个阶段的计算任务分配给执行器进行执行。

在计算过程中驱动器需要消耗内存资源，在现有技术中，通常会静态为各个驱动器分配内存资源，若一旦出现当前所需内存资源数超过驱动器所分配的内存资源数，则该驱动器将出现异常。

与此同时，为了减少驱动器的异常状况，通常还会限制执行器一次性上传的计算结果的数据量，以避免一次性上传的计算结果的数据量所需的内存资源数量过大导致驱动器所分配的内存资源数量，从而导致驱动器的异常。

但是在实际使用过程中，还是发现驱动器异常还是时有发生。

发明内容

有鉴于此，本发明实施例期望提供一种计算框架、电子设备及信息处理方法，至少部分解决上述问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例第一方面提供一种计算框架，包括：

执行器，用于根据驱动指令执行计算操作，生成执行结果；

驱动器，用于生成所述驱动指令；

代理组件，分别与所述执行器及所述驱动器连接，用于将所述驱动指令发送给对应的所述执行器，并将所述执行结果发送给对应的所述驱动器。

基于上述方案，所述计算框架还包括:

存储器，与所述驱动器连接；

所述驱动器包括第一驱动器和第二驱动器；

所述第一驱动器，用于确定当前接收的执行结果所需的内存资源的第一数量是否大于第二数量；其中，所述第二数量为所述第一驱动器的当前可用内存资源的数量；

所述存储器，用于当所述第一数量大于所述第二数量时存储所述第一驱动器提供的预定信息；

所述第二驱动器所分配的内存资源的第三数量大于第四数量，所述第四数量是所述第一驱动器分配的内存资源的总数量；所述第二驱动器，用于在与所述代理组件建立连接之后，基于所述预定信息及所述执行结果驱动所述执行器。

基于上述方案，所述第一驱动器为第m次启动的驱动器；

所述第二驱动器为第m+1次启动的驱动器；其中，所述m为正整数。

基于上述方案，所述第三数量为N倍为第四数量；所述N为不小于2的整数，所述第四数量是所述第一驱动器分配的内存资源的总数量。

本发明实施例第二方面提供一种电子设备，包括如上任意项所述的计算框架。

本发明实施例第三方面提供一种信息处理方法，包括:

驱动器生成驱动指令并将所述驱动指令发送给代理组件；

代理组件将所述驱动指令发送给对应的执行器；

所述执行器响应所述驱动指令，执行计算操作并生成执行结果；

所述执行器将所述执行结果发送给所述代理组件；