[发明专利]任务调度方法、装置和电子设备

说明书

本说明书实施例提出了一种任务调度方法、装置和电子设备，其中，上述任务调度方法中，获取MPC训练任务描述文件之后，将MPC训练任务描述文件拆分为子任务描述文件，然后根据上述子任务描述文件，对上述MPC训练任务拆分获得的子任务进行调度，记录调度成功的子任务的信息。最后，根据记录的信息，确定上述MPC训练任务拆分获得的子任务均调度成功之后，将拆分获得的子任务下发给对应的执行机构，从而可以实现将MPC训练任务拆分为多个K8s支持的单方任务来执行，达到运行MPC多方任务的效果，使K8s适用于MPC场景；并且上述方法可以实现将同一个MPC训练任务下的多个子任务一并下发，提高MPC训练任务的执行成功率，避免执行机构的算力浪费。

【技术领域】

本说明书实施例涉及互联网技术领域，尤其涉及一种任务调度方法、装置和电子设备。

【背景技术】

数据是继土地、劳动力、资本和技术之后的第五大生产要素，对企业来说是一种非常重要的资产。安全多方计算(secure multi-party computation，MPC)技术可以保证在机构原始数据不出域的情况下完成联合建模、联合风控和/或联合训练等任务，被越来越多的机构所青睐。

使用MPC进行联合训练时，如何控制、管理不同机构上的训练任务，是工程实现上的一个难题。幸运的是，Kubernetes(K8s)近年来在云原生领域广泛流行，是一个理想的基础平台，K8s可以自动部署、扩展和管理容器化应用程序，如果是在机构内部使用，K8s可以很好地满足各类业务需求。

但是，在MPC场景下，一个训练任务横跨多个机构，原生的K8s并不能直接满足这样的需求，因此需要提供一种方法，可以扩展K8s使之适用于MPC场景。

【发明内容】

本说明书实施例提供了一种任务调度方法、装置和电子设备，以实现在K8s上调度和运行MPC任务，使K8s适用于MPC场景。

第一方面，本说明书实施例提供一种任务调度方法，包括：获取安全多方计算MPC训练任务描述文件；其中，所述MPC训练任务描述文件中包括MPC训练任务的任务名称和执行机构；将所述MPC训练任务描述文件拆分为子任务描述文件；其中，所述子任务描述文件的数量由所述执行机构的数量确定，所述子任务描述文件用于描述所述MPC训练任务拆分获得的子任务；根据所述子任务描述文件，对所述MPC训练任务拆分获得的子任务进行调度；记录调度成功的子任务的信息；根据记录的信息，确定所述MPC训练任务拆分获得的子任务均调度成功之后，将所述拆分获得的子任务下发给对应的执行机构。

其中一种可能的实现方式中，所述子任务描述文件中包括子任务的名称、子任务关联的MPC训练任务的名称和所述MPC训练任务拆分的子任务的数量；所述记录调度成功的子任务的信息包括：记录调度成功的子任务的名称、调度成功的子任务关联的MPC训练任务的名称和所述MPC训练任务拆分的子任务的数量。

其中一种可能的实现方式中，所述根据记录的信息，确定所述MPC训练任务拆分获得的子任务均调度成功包括：根据调度成功的子任务关联的MPC训练任务的名称，获取所述MPC训练任务拆分的子任务中调度成功的子任务的数量；如果所述拆分的子任务中调度成功的子任务的数量等于所述拆分的子任务的数量，则确定所述MPC训练任务拆分获得的子任务均调度成功。

其中一种可能的实现方式中，所述子任务描述文件中包括：子任务的执行机构；所述根据所述子任务描述文件，对所述MPC训练任务拆分获得的子任务进行调度包括：根据所述子任务描述文件中包括的执行机构，从所述执行机构包括的机器中选择适合执行所述子任务的机器。

其中一种可能的实现方式中，所述将所述拆分获得的子任务下发给对应的执行机构之后，还包括：监听每个执行机构上子任务的运行状态；如果所有执行机构上的子任务均执行成功，则将所述MPC训练任务的状态标记为执行成功。