[发明专利]文件访问方法、装置、设备及存储介质

说明书

本申请提出一种文件访问方法、装置、电子设备及存储介质。具体实现方案为：响应接收到应用程序的文件访问请求，调用程序接口获取文件访问请求对应的指定文件；向服务器发送请求信息；请求信息中包括指定文件的元数据信息，元数据信息包括指定文件在服务器中的存储位置信息；接收来自服务器的指定文件的数据；向应用程序返回指定文件的数据。本申请实施例可在人工智能模型训练的过程中提升小文件的读取性能，从而提高小文件的访问效率，进而提升整个存储系统的使用效率，并加快人工智能模型的训练速度。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种文件访问方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展，AI（Artificial Intelligence，人工智能）模型训练所需要的文件数也在急剧增长。在进行AI模型训练的数据集中，小文件占有相当大的比重。但是，对小文件的数据进行访问时，通常存在随机性强、IO粒度小、磁盘效率低下的问题。在AI模型训练的过程中，由于对小文件的读取速度慢，从而导致海量小文件的访问效率低、访问时间长，进而降低整个存储系统的使用效率和AI模型的训练速度。

发明内容

本申请实施例提供一种文件访问方法、装置、电子设备及存储介质，以解决相关技术存在的问题，技术方案如下：

第一方面，本申请实施例提供了一种文件访问方法，包括：

响应接收到应用程序的文件访问请求，调用程序接口获取文件访问请求对应的指定文件；

向服务器发送请求信息；请求信息中包括指定文件的元数据信息，元数据信息包括指定文件在服务器中的存储位置信息；

接收来自服务器的指定文件的数据；

向应用程序返回指定文件的数据。

在一种实施方式中，文件访问请求中包括执行任务；响应接收到应用程序的文件访问请求，调用程序接口获取文件访问请求对应的指定文件，包括：

从文件访问请求中获取执行任务；

调用程序接口，获取执行任务对应的指定文件，将执行任务对应的指定文件作为文件访问请求对应的指定文件；其中，执行任务对应的指定文件是预先通过程序接口设置的。

在一种实施方式中，上述方法还包括：

向服务器发送元数据信息获取请求；元数据信息获取请求用于获取应用程序挂载的数据集中所有文件的元数据信息；

接收并存储服务器返回的元数据信息。

在一种实施方式中，接收来自服务器的指定文件的数据，包括：

采用多线程分别从多个服务器并行读取组成指定文件的各个分片文件；

采用分片重组算法对各个分片文件进行重组。

在一种实施方式中，上述方法还包括：

在指定文件的数据的大小小于等于预定阈值的情况下，将指定文件的数据存储到缓存中。

在一种实施方式中，向服务器发送请求信息，还包括：

在缓存中查找指定文件；

在查找成功的情况下，从缓存中访问指定文件；

在查找失败的情况下，向服务器发送请求信息。

在一种实施方式中，从缓存中访问指定文件，包括根据预定的访问序列采用以下方式中的至少之一对至少一个指定文件进行预读取：

随机读取、根据文件名排序顺序读取，以及利用哈希索引确定预读取的文件名。

在一种实施方式中，向应用程序返回指定文件的数据，还包括：

在至少一个指定文件中的当前文件访问失败的情况下，访问访问序列中的当前文件之后的指定文件；

向应用程序返回当前文件之后的指定文件的数据。

第二方面，本申请实施例提供了一种文件访问方法，包括：