[发明专利]数据加载方法、装置及存储介质、计算设备、计算系统

权利要求书

1.一种数据加载方法，其特征在于，应用于计算集群中的目标计算设备，所述目标计算设备是所述计算集群中任一个计算设备，所述方法包括：

将从外部存储系统中获取的数据存入到所述目标计算设备的内存空间中，所述内存空间被设置为支持以远程直接数据存取方式访问的模式，以得到由所述计算集群中各计算设备中处于所述模式的内存空间构成的分布式内存系统；

响应于所述目标计算设备中用于执行数据计算任务的目标进程触发的数据加载请求，将所述目标计算设备中的目标存储空间设置为支持以远程直接数据存取方式访问的模式，其中，所述目标存储空间的大小根据目标进程当前需加载的数据量来确定；

确定与所述数据加载请求对应的需加载数据在所述分布式内存系统中的存储地址，根据所述存储地址从所述分布式内存系统中加载所述需加载数据到所述目标存储空间中，以使所述目标进程从所述目标存储空间中读取所述需加载数据。

2.根据权利要求1所述的方法，其特征在于，所述数据加载请求中包括需加载的数据量和目标计算单元对应的存储部件；

其中，所述目标存储空间位于所述目标计算单元对应的存储部件中，所述需加载数据是与所述需加载的数据量对应的数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

存储用户通过配置接口输入的配置信息，以根据所述配置信息生成所述数据加载请求，所述配置信息包括所述需加载的数据量和所述目标计算单元对应的存储部件。

4.根据权利要求2所述的方法，其特征在于，所述目标计算单元对应的存储部件包括如下任一种：中央处理器对应的内存、图形处理器对应的显存。

5.根据权利要求1所述的方法，其特征在于，所述确定与所述数据加载请求对应的需加载数据在所述分布式内存系统中的存储地址，包括：

获取数据存储记录，所述数据存储记录中描述了数据标识与数据在分布式内存系统中的存储地址之间的对应关系；

根据所述数据存储记录确定需加载数据在所述分布式内存系统中的存储地址。

6.根据权利要求1所述的方法，其特征在于，所述数据计算任务包括：模型训练任务，所述数据包括：模型的训练数据。

7.一种数据加载装置，其特征在于，位于计算集群中的目标计算设备，所述目标计算设备是所述计算集群中任一个计算设备，所述装置包括：

缓存模块，用于将从外部存储系统中获取的数据存入到所述目标计算设备的内存空间中，所述内存空间被设置为支持以远程直接数据存取方式访问的模式，以得到由所述计算集群中各计算设备中处于所述模式的内存空间构成的分布式内存系统；

配置模块，用于响应于所述目标计算设备中用于执行数据计算任务的目标进程触发的数据加载请求，将所述目标计算设备中的目标存储空间设置为支持以远程直接数据存取方式访问的模式，其中，所述目标存储空间的大小根据目标进程当前需加载的数据量来确定；

加载模块，用于确定与所述数据加载请求对应的需加载数据在所述分布式内存系统中的存储地址，根据所述存储地址从所述分布式内存系统中加载所述需加载数据到所述目标存储空间中，以使所述目标进程从所述目标存储空间中读取所述需加载数据。

8.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的数据加载方法。