[发明专利]任务调度方法、装置、设备、介质及产品

权利要求书

1.一种任务调度方法，包括：

获取目标计算节点中输入缓冲区的资源利用状态；其中，所述输入缓冲区为在目标计算节点中预先划分出的数据存储区域，用于存储与其他计算节点交互的数据；

根据所述输入缓冲区的所述资源利用状态，并按照预设调度策略调整其他计算节点中所执行任务的并行度。

2.根据权利要求1所述的方法，其中，所述输入缓冲区用于存储所述目标计算节点所接收的其他计算节点发送的交互数据；

根据所述输入缓冲区的所述资源利用状态，并按照预设调度策略调整其他计算节点中所执行任务的并行度，包括：

根据所述输入缓冲区的资源利用状态识别到资源不足状态时，则确定所述目标计算节点的上游计算节点；

控制所述上游计算节点向所述目标计算节点写入数据的并行度。

3.根据权利要求2所述的方法，其中，控制所述上游计算节点向所述目标计算节点写入数据的并行度，包括：

调整所述上游计算节点中的输出缓冲区与所述目标计算节点中的输入缓冲区之间进行网络传输的网络连接并行度；其中，所述上游计算节点中的输出缓冲区为在所述上游计算节点中预先划分出的数据存储区域，用于存储所述上游计算节点待发送至其他计算节点的交互数据；调整后的网络连接并行度小于调整前的网络连接并行度。

4.根据权利要求1所述的方法，所述方法还包括：

获取目标计算节点中输出缓冲区的资源利用状态；其中，所述输出缓冲区为在目标计算节点中预先划分出的数据存储区域，用于存储与其他计算节点交互的数据；

根据所述输出缓冲区的所述资源利用状态，并按照预设调度策略调整所述目标计算节点中所执行任务的并行度。

5.根据权利要求4所述的方法，其中，所述输出缓冲区用于存储所述目标计算节点待发送至其他计算节点的交互数据；

根据所述输出缓冲区的所述资源利用状态，并按照预设调度策略调整所述目标计算节点中所执行任务的并行度，包括：

根据所述输出缓冲区的资源利用状态识别到资源不足状态时，则确定所述目标计算节点中正在执行的任务的执行信息；

根据所述执行信息调整所述目标计算节点中执行任务的并行度。

6.根据权利要求5所述的方法，其中，根据所述执行信息调整所述目标计算节点中执行任务的并行度，包括：

根据所述执行信息确定所述目标计算节点中的目标任务；

降低所述目标任务的处理数据量。

7.根据权利要求6所述的方法，其中，所述执行信息包括如下至少一项：执行启动时间、处理数据量和资源使用率；

根据所述执行信息确定所述目标计算节点中的目标任务，包括如下至少一项：

根据所述执行启动时间的数值对所述目标计算节点中正在执行的任务进行降序排序，确定排序结果中位于首位的任务为目标任务；

根据所述处理数据量对所述目标计算节点中正在执行的任务进行降序排序，确定排序结果中位于首位的任务为目标任务；

根据所述资源使用率对所述目标计算节点中正在执行的任务进行降序排序，确定排序结果中位于首位的任务为目标任务。

8.根据权利要求2或5所述的方法，其中，所述资源利用状态包括资源利用率，所述资源不足状态是指所述输入缓冲区的资源利用率大于第一预设资源利用阈值，或所述输出缓冲区的资源利用率大于第二预设资源利用阈值。

9.根据权利要求1所述的方法，其中，所述方法的执行主体为分布式交互式分析引擎中的调度节点，所述分布式交互式分析引擎包括调度节点和至少两个计算节点，所述计算节点用于并行执行所述分布式交互式分析引擎中的任务。