[发明专利]一种基于深度学习的人工智能平台系统

说明书

本发明公开了一种基于深度学习的人工智能平台系统，包括：平台层，用于权限管理、分布式存储、GPU计算资源管理、分布式计算及训练和任务调度；模型层，用于提供机器学习模型和深度学习模型；应用层，用于资源管理与监控、模型定义及训练、提供交互式变成环境、智能数据标注和模型导出及发布。本发明通过工程手段开发一个AI平台系统，以此来提升GPU等硬件资源的利用率，减少硬件投入成本，帮助算法工程师更方便的应用各类深度学习技术，使其从繁杂的环境运维中解脱出来，提供海量训练数据的高效存储，用户资源隔离，访问权限控制更安全；训练数据、训练任务统一管理，机器学习流程规范化，流程化；数据标注自动化，提高模型迭代效率。

技术领域

本发明属于人工智能技术领域，尤其涉及一种基于深度学习的人工智能平台系统。

背景技术

最近几年，随着人工智能技术的快速发展，深度学习摧朽拉枯之势席卷IT的各个角落，改变了各领域算法研究和软件开发的模式，也给IT基础设施建设和平台工具研发带来了新的要求。快速搭建起一个分布式的深度学习训练平台，加速深度神经网络的训练，可以有效提高公司的竞争力。

当前深度学习框架繁多，耳熟能详的就有mxnet、tensorflow、cntk等等，这些框架开发语言不一，接口设计各异，给AI公司，尤其中小型创业团队的框架选择、技术积累和快速研发带来了很多困难。

深度学习训练的一个特点是具有很强的迭代性，即网络结构确定后，可以周期性地通过增加训练数据而提高模型的泛化能力。数据的统一管理，高效标注，可以有效缩短模型迭代周期，能获得更好的效果和更快的产品更新。

XLearning是一款支持多种机器学习、深度学习框架的调度系统。基于HadoopYarn完成了对TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用框架的集成，同时具备良好的扩展性和兼容性。基于HDFS提供统一数据管理。

现有人工智能平台系统(AI平台系统)的缺点为：

1、不支持GPU资源调度管理，在深度学习负载下，GPU是资源调度的一等公民，无法使用GPU资源，对于模型训练效率影响极大；

2、仅仅支持数据的存储，缺少对数据标注工作的支持，需要另外寻求标注工具；

3、没有权限控制系统，不能保证数据的安全；

4、无交互式变成环境，算法工程师开发效率低。

发明内容

针对上述问题中存在的不足之处，本发明提供一种基于深度学习的人工智能平台系统。

为实现上述目的，本发明提供一种基于深度学习的人工智能平台系统，包括：

平台层，用于权限管理、分布式存储、GPU计算资源管理、分布式计算及训练和任务调度；

模型层，用于提供机器学习模型和深度学习模型；

应用层，用于资源管理与监控、模型定义及训练、提供交互式变成环境、智能数据标注和模型导出及发布。

作为本发明的进一步改进，所述平台层包括：

LDAP权限管理模块，用于账号系统的关联、HDFS数据访问权限控制和任务提交管理、计算资源的权限控制；

HDFS模块，用于分布式存储训练任务依赖的数据；

YARN模块，用于接收到训练任务的请求，负责对任务进行GPU资源的分配及任务调度管理和监控；

API模块，所述API模块封装有资源管理、任务管理及监控的一系列接口，用于给账号系统调用及二次开发使用；

GPU主机，用于提供GPU资源。