[发明专利]数据加载方法、装置及存储介质、计算设备、计算系统

说明书

本发明提供一种数据加载方法、装置及存储介质、计算设备、计算系统，该方法包括：计算集群中的目标计算设备将从外部存储系统中获取的数据存入到其内存空间中，该内存空间被设置为支持以RDMA方式访问的模式，以得到由计算集群中各计算设备中处于该模式的内存空间构成的分布式内存系统。响应于目标计算设备中的目标进程触发的数据加载请求，目标计算设备将其中的目标存储空间设置为支持以RDMA方式访问的模式，根据需加载数据在分布式内存系统中的存储地址将从分布式内存系统中获取的需加载数据加载到目标存储空间。利用计算集群本地的内存资源构建一个基于RDMA的分布式内存系统，以通过RDMA方式加载数据，提高了数据加载速度。

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据加载方法、装置及存储介质、计算设备、计算系统。

背景技术

为了应对海量数据的处理任务，分布式系统应用而生。在由众多计算设备构成的分布式计算集群中，每个计算设备每次可以从存储有海量数据的外部存储系统中读取一些数据并进行数据计算处理。

另外，随着数据集规模的增加，海量的数据可以采用Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)、对象存储(Object Storage Service,简称OSS)系统等存储系统进行存储。

上述计算集群中的各计算设备每次加载数据的时候，都需要通过网络端口访问远程的存储系统以加载其中存储的数据。在数据加载过程中，由于网络端口的吞吐有限，会造成输入输出（IO）瓶颈，使得数据加载的延迟较大。

发明内容

本发明实施例提供一种数据加载方法、装置及存储介质、计算设备、计算系统，用以提高数据加载速度。

第一方面，本发明实施例提供一种数据加载方法，应用于计算集群中的目标计算设备，所述目标计算设备是所述计算集群中任一个计算设备，所述方法包括：

将从外部存储系统中获取的数据存入到所述目标计算设备的内存空间中，所述内存空间被设置为支持以远程直接数据存取方式访问的模式，以得到由所述计算集群中各计算设备中处于所述模式的内存空间构成的分布式内存系统；

响应于所述目标计算设备中用于执行数据计算任务的目标进程触发的数据加载请求，将所述目标计算设备中的目标存储空间设置为支持以远程直接数据存取方式访问的模式；

确定与所述数据加载请求对应的需加载数据在所述分布式内存系统中的存储地址，根据所述存储地址从所述分布式内存系统中加载所述需加载数据到所述目标存储空间中，以使所述目标进程从所述目标存储空间中读取所述需加载数据。

第二方面，本发明实施例提供一种数据加载装置，位于计算集群中的目标计算设备，所述目标计算设备是所述计算集群中任一个计算设备，所述装置包括：

缓存模块，用于将从外部存储系统中获取的数据存入到所述目标计算设备的内存空间中，所述内存空间被设置为支持以远程直接数据存取方式访问的模式，以得到由所述计算集群中各计算设备中处于所述模式的内存空间构成的分布式内存系统；

配置模块，用于响应于所述目标计算设备中用于执行数据计算任务的目标进程触发的数据加载请求，将所述目标计算设备中的目标存储空间设置为支持以远程直接数据存取方式访问的模式；

加载模块，用于确定与所述数据加载请求对应的需加载数据在所述分布式内存系统中的存储地址，根据所述存储地址从所述分布式内存系统中加载所述需加载数据到所述目标存储空间中，以使所述目标进程从所述目标存储空间中读取所述需加载数据。

第三方面，本发明实施例提供一计算设备，所述计算设备是计算集群中任一个计算设备，所述计算设备包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如下步骤：