[发明专利]部署机器学习模型的方法、电子设备和计算机程序产品

说明书

本公开的实施例涉及部署机器学习模型的方法、电子设备和计算机程序产品。该方法包括：按照开放神经网络交换格式获取机器学习模型；利用多级中间表示方法将所述机器学习模型转换为中间表示；以及利用所述中间表示，将与所述机器学习模型相关联的计算部署到至少一个计算设备。使用本公开的技术方案，可以允许对任何机器学习模型进行部署，可以支持将机器学习模型部署到人和计算设备，也可以允许将更繁重的机器学习任务部署到具有更高性能的计算设备，从而能够便捷并且合理地进行机器学习模型部署，不仅能够提高机器学习模型部署的效率和效果，也有助于提高机器学习模型的计算执行效率，从而能够提高与机器学习模型相关联的用户体验。

技术领域

本公开的实施例总体上涉及人工智能领域，具体地涉及部署机器学习模型的方法、电子设备和计算机程序产品。

背景技术

近年来，随着人工智能技术的进步，机器学习或深度学习(DL)已经推动了许多领域的发展。与此同时，机器学习模型也变得越来越复杂，需要使用数据集越大，因此执行这样的机器学习模型需要更多的计算资源。随着技术的发展，边缘节点在提供这样的计算资源方面起到了很大作用。边缘节点通常是指在靠近用户的网络边缘侧构建的业务平台。边缘节点能够提供存储、计算、联网等资源，从而可以将部分关键业务应用下沉到接入网络边缘，以减少网络传输和多级转发带来的宽度和时延损耗。

机器学习模型可以被部署在边缘节点上。然而，由于边缘节点的计算资源限制和存储资源限制等原因，在边缘节点上部署机器学习模型存在无法针对多个机器学习模型通用、与机器学习模型相关联的计算调度困难、大量重复参数占据边缘节点存储资源等问题。在这种情况下，不仅会影响机器学习模型部署的效率和效果，也会影响机器学习模型计算的执行效率，进而会影响与机器学习模型相关联的用户体验。

发明内容

本公开的实施例提供了部署机器学习模型的方法、电子设备和计算机程序产品。

在本公开的第一方面中，提供了一种部署机器学习模型的方法。该方法包括：按照开放神经网络交换格式获取机器学习模型；利用多级中间表示方法将所述机器学习模型转换为中间表示；以及利用所述中间表示，将与所述机器学习模型相关联的计算部署到至少一个计算设备。

在本公开的第二方面中，提供了一种电子设备。该电子设备包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：按照开放神经网络交换格式获取机器学习模型；利用多级中间表示方法将所述机器学习模型转换为中间表示；以及利用所述中间表示，将与所述机器学习模型相关联的计算部署到至少一个计算设备。

在本公开的第三方面中，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行使得机器执行根据本公开的第一方面所描述的方法的任意步骤。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的实施例的关键特征或必要特征，也无意限制本公开的实施例的范围。

附图说明

通过结合附图对本公开的示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开的示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图；

图2示出了根据本公开的实施例的部署机器学习模型的方法200的流程图；

图3示出了根据本公开的实施例的部署机器学习模型的方法300的流程图；

图4示出了根据本公开的实施例的部署机器学习模型的方法400的流程图；以及