[发明专利]算法软件的启动方法及装置、存储介质、电子装置

说明书

本发明公开了一种算法软件的启动方法及装置、存储介质、电子装置，其中，上述方法包括：通过基础镜像的代理服务获取所述基础镜像的环境配置信息，其中，所述环境配置信息包括以下至少之一：算法仓地址、算法软件类型、异构硬件类型和异构驱动类型；根据所述环境配置信息在所述算法仓地址对应的算法仓中确定算法模型、异构软件工具开发包和算法软件包；在所述基础镜像中加载所述算法模型、所述异构软件工具开发包和所述算法软件包，以启动算法软件包对应的算法软件。采用上述方案，解决了相关技术中，同一种算法业务，如果算法软件需要部署使用多种不同的异构计算硬件，需要开发发布多个不同的镜像包，并且需要分开独立部署调度等问题。

技术领域

本发明涉及通信领域，具体而言，涉及一种算法软件的启动方法及装置、存储介质、电子装置。

背景技术

在AI智能计算领域，异构计算平台发挥了不同加速硬件的计算特点。随着芯片国产化的推进，异构计算芯片的系列和类型也更加多样化。目前在公有云、私有云、混合云甚至运营商的边缘云等场景下，容器云成为云原生体系下的标准化通用基础设施。云平台主控CPU一般都是相同架构的，比如x86或arm64等，所以算法软件可以一次编译在所有物理节点上都可以运行。在主控CPU之外的容器云平台(k8s等)都逐步开始支持多种异构计算硬件，例如各种NPU/通用GPU/FPGA等，并希望在此基础上构建通用算力资源池。通用算力池一般要满足以下两个条件：

(1)按需分配：允许为算法软件程序分配少于一张计算卡的算力或者大于实际物理节点最大计算卡数量的算力资源；

(2)软硬解耦：智能算法软件的开发、部署和调度不依赖具体的计算硬件，可以在云平台物理节点上使用任何计算硬件。

对于条件(1)，一般需要在容器云平台基础设施中对底层硬件进行各种虚拟化和远程调用管理，这方面有很多不同的方案设计。对于条件(2)，目前云厂商容器云的计算平台只关注异构计算资源的纳管和调度，没有提供真正的异构计算软硬解耦解决方案，因此存在以下问题，如图3所示：

(1)智能算法软件需要针对不同的异构计算硬件开发不同的算法代码，增加了异构部署开发的工作量。同时GPU/NPU/FPGA等异构硬件种类繁杂，还存在各种版本配套等问题，开发维护成本高；

(2)智能算法软件部署时无法同时兼容不同的异构计算硬件，需要与具体的计算节点绑定，容器云平台(K8s)不能进行统一的部署调度。也就是同一种智能算法软件需要有很多个镜像版本来部署，几乎无法管理，或者一个算法软件镜像只能使用一种异构硬件，不方便全局弹性伸缩扩容，也限制了算法应用的灵活性。在私有云场景下，多种异构加速硬件很难有配备合理的比例，可能产生调度瓶颈。

在现有技术方案中，在容器云平台上，同一种算法业务，如果算法软件需要部署使用多种不同的异构计算硬件，需要开发发布多个不同的镜像包，并且需要分开独立部署调度，这种方式大大增加了开发测试、部署运维、调度的工作量和复杂度。很多情况下相同异构计算硬件上不同版本模型工具转换的模型，还需要与异构软件SDK、异构硬件驱动配套使用，导致容器云平台上算法软件使用相同异构计算硬件都可能需要开发发布不同镜像包，且不能进行统一的资源调度。

针对相关技术中，同一种算法业务，如果算法软件需要部署使用多种不同的异构计算硬件，需要开发发布多个不同的镜像包，并且需要分开独立部署调度等问题，尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种算法软件的启动方法及装置、存储介质、电子装置，以至少解决相关技术中，同一种算法业务，如果算法软件需要部署使用多种不同的异构计算硬件，需要开发发布多个不同的镜像包，并且需要分开独立部署调度等问题。