[发明专利]一种深度学习云平台的智能缓存加速系统及方法

说明书

本发明提供了一种深度学习云平台的智能缓存加速系统及方法。所述一种深度学习云平台的智能缓存加速系统包括：数据集使用频率统计组件、多级缓存自动部署组件、挂载数据集路径组件、根据数据集缓存优化调度组件等四个组件。其中缓存优化调度组件需要根据平台使用的具体调度器进行修改，其余部分为独立组件。

技术领域

本发明涉及计算机、深度学习平台、缓存系统领域，特别涉及一种深度学习云平台的智能缓存加速系统及方法。

背景技术

随着深度学习技术的飞速发展，模型训练对计算能力的需求日渐提高，这使得深度学习云平台出现在大众视野之中。目前深度学习平台基本实现容器化，即训练任务在平台上以Docker容器的形式运行。在深度学习领域，训练任务需要从后端存储读取大容量数据集，数据集又主要以图片这种海量小文件的形式为主，这使得存储系统的I/O吞吐量成为训练任务的性能瓶颈。为解决这个问题，我们需要设计一个缓存系统，通过把数据集缓存在本地（计算节点）来提升I/O性能，从而加快模型的训练速度。

针对海量小文件场景下应用程序读写I/O性能低下的问题，Facebook的经典论文《Finding a needle in Haystack: Facebook’s photo storage》提出了一种解决方案，基于此论文又有很多实现方案，如开源分布式文件系统SeaweedFS。它实现了把大量小的图片文件（Needle）在后端聚合成大文件（Volume），并通过Volume ID和其中小文件的逻辑偏移量来读取指定文件。此方案存在一些问题：首先是性能不佳，SeaweedFS经过filer以共享文件系统的形式挂载后，由于存在访问协议的转换，读写I/O性能损耗较明显；其次是与现有系统结合困难，SeaweedFS作为一套独立的分布式存储，需要以类似对象存储的URL形式访问文件，这和广泛使用的深度学习框架（TensorFlow，PyTorch等）并不相符，这些框架都是以文件系统的形式对数据集文件进行读写，SeaweedFS的对象存储模式侵入了用户的读写逻辑。针对以上缺点，本发明提出了一种具有多级缓存系统的深度学习云平台的智能缓存加速系统及方法，完全契合容器化深度学习平台的工作流程，缓存特性对用户完全透明；另一方面，本发明可以利用节点（即物理服务器）的内存、SSD（固态硬盘）等多种介质，自动对使用频率高的热点数据集进行缓存，从而实现高效的读写加速效果。

发明内容

为了克服现有技术中存在的技术缺陷，实现数据集使用频率监控、数据集缓存自动部署策略，以及调度方面数据集亲和性的优化，本发明提供一种深度学习云平台的智能缓存加速系统及方法。

一方面，提供一种深度学习云平台的智能缓存加速系统，所述系统包括：数据集使用频率统计组件、多级缓存自动部署组件、挂载数据集路径组件、根据数据集缓存优化调度组件等四个组件。其中缓存优化调度组件需要根据平台使用的具体调度器进行修改，其余部分为独立组件。

数据集使用频率统计组件，用于找出用户使用频率高的数据集，从而确定缓存部署的对象；所述数据集使用频率统计组件配置为，首先使用管理员账户获取用户鉴权令牌（即token，用于系统确认访问用户是否具有相应权限的一串字符），向平台请求获取全部训练任务的配置信息（job_config）；之后从配置信息（job_config）中可以获取训练任务的启动时间，可以根据需求过滤出指定时段（例如，可以默认为过去7天）内提交的全部训练任务信息；

所述配置信息（job_config）包括以下信息：训练任务使用的数据集信息及多个数据集详细信息；其中，一个训练任务可以使用一个或多个数据集。在数据集详细信息的结构体中，还包括该数据集所属的用户ID，布尔值（代表数据集是否公开），'datasetId'字段（代表该任务所使用的数据集名称），'mountPath'字段（记录了数据集在训练任务的Docker容器中的挂载路径）；这样可以从按时间过滤后的配置信息（job_config）中获取到训练任务使用的数据集名称列表；在得到的列表中，通过累加得出各数据集使用次数，再进行排序，即可统计出指定时段内各数据集的使用频率。