[发明专利]一种基于混合云资源的异构计算平台及模型训练方法

说明书

本发明公开了一种基于混合云资源的异构计算平台及模型训练方法，平台包括基础组件层、计算框架层、资源管理层和资源管理层，方法包括：用户通过基础组件层设置模型训练任务并启动任务，模型训练任务的设置包括选择模型、数据集、学习框架和/或算力资源；计算框架层提供所选择的学习框架；资源管理层根据模型训练任务的设置为模型训练任务分配并调用基础设施层的算力资源、网络资源和存储资源，进行模型训练。异构计算平台通过支持多种强化学习架构和超大规模分布式训练，可以使机器学习建模全程可视化，同时解决了现存的云管平台普遍存在的算力有限、单一AI芯片适配、框架固定等问题，使得模型训练过程方便、快捷、高效。

技术领域

本发明涉及云技术领域，尤其涉及一种基于混合云资源的异构计算平台及模型训练方法。

背景技术

现有计算、存储、网络三大资源被隔离在不同的虚拟化平台中，无法实现私有云层次上的统一监控与管理，且随着云计算技术的发展，为实现管理用户在不同管理界面之间的频繁切换，掌握多种平台不同的管理逻辑和虚拟化模型，企业需要雇佣或培养熟悉特定虚拟化平台的管理人员进行分别管理。

混合云是一种将私有云与一项或多项公有云服务结合起来的解决方案，不仅可以提供私有安全的数据存储和计算环境，还可以提供更灵活、更低成本的计算、存储、网络资源。

目前混合云管理系统大多基于云管理平台(Cloud Management Platform，CMP)实现对多云系统的管理，但是云管理平台普遍存在过程冗长、手工操作易出错等问题，使得用户不能以统一的方式申请使用资源和提高自服务能力。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案。

本发明的一方面涉及一种基于混合云资源的异构计算平台，包括：

基础组件层，用于提供用户操作的接口，所述用户操作包括设置模型训练任务；

计算框架层，用于提供所述模型训练任务使用的学习框架；

资源管理层，用于对所述基础设施层中的混合云资源进行分配和调度以执行所述模型训练任务；

基础设施层，用于提供混合云资源，包括异构的算力资源、网络资源和存储资源。

进一步地，所述学习框架包括深度学习框架和强化学习框架。

进一步地，所述资源管理层包括资源管理模块、Kubernetes模块和Docker模块，所述资源管理模块通过所述Kubernetes模块和Docker模块实现对所述基础设施层中异构的算力资源、网络资源和存储资源的调度。

进一步地，所述异构的算力资源包括分布式的CPU、GPU、ASIC处理器资源，所述网络资源包括RDMA网络，所述存储资源包括分布式存储系统HDFS、Ceph和/或ClusterFS。

进一步地，所述用户操作还包括上传数据集和/或上传算法。

进一步地，所述计算框架层还包括大数据引擎，用于对所上传的数据集进行管理。

本发明的另一方面涉及一种模型训练方法，利用上述的基于混合云资源的异构计算平台进行实施，包括：

用户通过所述基础组件层设置模型训练任务并启动任务，所述模型训练任务的设置包括选择模型、数据集、学习框架和/或算力资源；

计算框架层提供所选择的学习框架；

所述资源管理层根据所述模型训练任务的设置为所述模型训练任务分配并调用所述基础设施层的算力资源、网络资源和存储资源，进行模型训练。

优选地，所述资源管理层根据所述模型训练任务的设置为所述模型训练任务分配并调用所述基础设施层的算力资源、网络资源和存储资源包括：