[发明专利]一种基于企业级超算场景的客户端多级缓存方法及系统

说明书

本发明提供了一种基于企业级超算场景的客户端多级缓存方法及系统，所述方法执行以下步骤：根据用户提交的训练任务，获取用户的UID和GID，对训练任务进行解析得到训练任务参数，在客户端创建相应的缓存目录；根据训练任务参数，按照优先级由高到低的顺序，从多级缓存中读取所需数据，多级缓存包括内存缓存、结合内存缓存与固定硬盘缓存的二级缓存和分布式存储系统；若为二级缓存，则将分布式存储系统中的数据同步缓存在与固态硬盘对应的缓存目录中。根据本发明的方法，采用多级缓存机制读取数据，灵活，加快深度学习模型训练速度，减轻分布式存储系统的压力；可减少客户端频繁的访问分布式存储系统，加快训练的速度，延长硬盘寿命，降低企业成本。

技术领域

本发明涉及分布式技术领域，特别涉及一种基于企业级超算场景的客户端多级缓存方法及系统。

背景技术

目前，超算中心通常都需要配置海量的分布式存储系统，用于支持模型训练数据的存放，众多的计算节点通过网络访问同一个分布式存储系统。

超算训练场景下数据读取的特点是读多写少，而且允许有少量的数据丢失；另外，超算模型训练的数据大多是图片或者语音数据，这类数据的特点是都是小文件，在高并发的场景下，用于实现数据读写操作的IO模块成为了模型训练的瓶颈，模型训练成本增加，而高负载的IO频繁读取容易造成硬盘的损坏，增加了维护成本与经费成本，而且客户端与后端的存储的交互一般都是通过RPC(Remote Procedure Call，远程过程调用)通信，频繁的交互会增加服务端的压力。

发明内容

本发明提供一种基于企业级超算场景的客户端多级缓存方法及系统，用以通过多级缓存加快深度学习模型训练速度，减轻分布式存储压力。

本发明提供了一种基于企业级超算场景的客户端多级缓存方法，所述方法执行以下步骤：

步骤1：根据用户提交的训练任务，获取所述用户的UID和GID，并对所述训练任务进行解析，得到训练任务参数；

步骤2：根据所述用户的UID和GID，在客户端创建相应的缓存目录；

步骤3：根据所述训练任务参数，按照优先级由高到低的顺序，从多级缓存中读取所需数据，所述多级缓存包括内存缓存、同时使用内存缓存与固定硬盘缓存的二级缓存和分布式存储系统，且所述内存缓存的优先级最高，所述分布式存储系统的优先级最低；

步骤4：若所述多级缓存为所述二级缓存，则将所述分布式存储系统中的数据同步缓存在与客户端本地节点的固态硬盘对应的缓存目录中。

进一步地，在所述步骤4中，将所述分布式存储系统中的数据同步缓存在与客户端本地节点的固态硬盘对应的缓存目录中，执行以下步骤：

步骤S41：将缓存数据的所述缓存目录的开启标志位设置为true；

步骤S42：利用自动同步工具将所需数据同步缓存在与本地节点的固态硬盘对应的缓存目录中；

步骤S43：对缓存在所述固定硬盘上的缓存文件执行热点监控，根据监控结果对失效数据进行数据清理。

进一步地，在所述步骤S43中，所述失效数据包括以下数据中的至少一项：未被访问的时间超过预设时长、提交训练任务的用户的进程中断、应用程序或用户给出失效提示的缓存文件。

进一步地，在所述步骤S43中，所述根据监控结果对失效数据进行数据清理包括：

删除所述失效数据对应的缓存目录。

进一步地，所述步骤1：根据用户提交的训练任务，获取所述用户的UID和GID，执行以下步骤：

步骤S11：用户在客户端执行启动模型训练任务的训练命令；