[发明专利]一种基于企业级超算场景的客户端多级缓存方法及系统

权利要求书

1.一种基于企业级超算场景的客户端多级缓存方法，其特征在于，所述方法执行以下步骤：

步骤1：根据用户提交的训练任务，获取所述用户的UID和GID，并对所述训练任务进行解析，得到训练任务参数；

步骤2：根据所述用户的UID和GID，在客户端创建相应的缓存目录；

步骤3：根据所述训练任务参数，按照优先级由高到低的顺序，从多级缓存中读取所需数据，所述多级缓存包括内存缓存、同时使用内存缓存与固定硬盘缓存的二级缓存和分布式存储系统，且所述内存缓存的优先级最高，所述分布式存储系统的优先级最低；

步骤4：若所述多级缓存为所述二级缓存，则将所述分布式存储系统中的数据同步缓存在与客户端本地节点的固态硬盘对应的缓存目录中。

2.如权利要求1所述的方法，其特征在于，在所述步骤4中，将所述分布式存储系统中的数据同步缓存在与客户端本地节点的固态硬盘对应的缓存目录中，执行以下步骤：

步骤S41：将缓存数据的所述缓存目录的开启标志位设置为true；

步骤S42：利用自动同步工具将所需数据同步缓存在与本地节点的固态硬盘对应的缓存目录中；

步骤S43：对缓存在所述固定硬盘上的缓存文件执行热点监控，根据监控结果对失效数据进行数据清理。

3.如权利要求2所述的方法，其特征在于，在所述步骤S43中，所述失效数据包括以下数据中的至少一项：未被访问的时间超过预设时长、提交训练任务的用户的进程中断、应用程序或用户给出失效提示的缓存文件。

4.如权利要求2所述的方法，其特征在于，在所述步骤S43中，所述根据监控结果对失效数据进行数据清理包括：

删除所述失效数据对应的缓存目录。

5.如权利要求1所述的方法，其特征在于，所述步骤1：根据用户提交的训练任务，获取所述用户的UID和GID，执行以下步骤：

步骤S11：用户在客户端执行启动模型训练任务的训练命令；

步骤S12：在所述模型训练任务首次读取分布式存储系统中的数据时，读取提交训练任务的用户的UID和GID。

6.如权利要求5所述的方法，其特征在于，在所述步骤S11中，所述用户在客户端执行启动任务训练命令包括：

用户在任务训练命令中设定用户的数据使用时间。

7.如权利要求1所述的方法，其特征在于，所述步骤2：根据所述用户的UID和GID，在客户端创建相应的缓存目录包括：

步骤S21：根据所述用户的UID和GID，为所述用户在各自的客户端自动创建相应的缓存目录；

步骤S22：为每个用户的客户端对应的所述缓存目录设定相应的权限。

8.如权利要求1所述的方法，其特征在于，在所述步骤3或所述步骤4之后，所述方法还包括以下步骤：

步骤5：执行模型的迭代训练任务。

9.一种基于企业级超算场景的客户端多级缓存系统，其特征在于，包括：

获取模块，用于根据用户提交的训练任务，获取所述用户的UID和GID，并对所述训练任务进行解析，得到训练任务参数；

缓存目录创建模块，用于根据所述用户的UID和GID，在客户端创建相应的缓存目录；

多级缓存模块，用于根据所述训练任务参数，按照优先级由高到低的顺序，从多级缓存中读取所需数据，所述多级缓存包括内存缓存、同时使用内存缓存与固定硬盘缓存的二级缓存和分布式存储系统，且所述内存缓存的优先级最高，所述分布式存储系统的优先级最低；

同步缓存模块，用于在所述多级缓存为所述二级缓存时，则将所述分布式存储系统中的数据同步缓存在与客户端本地节点的固态硬盘对应的缓存目录中。

10.如权利要求9所述的系统，其特征在于，所述同步缓存模块包括：

开启标志位设置单元，用于将缓存数据的所述缓存目录的开启标志位设置为true；

同步缓存单元，用于利用自动同步工具将所需数据同步缓存在与本地节点的固态硬盘对应的缓存目录中；

数据清理单元，用于对缓存在所述固定硬盘上的缓存文件执行热点监控，根据监控结果对失效数据进行数据清理。