[发明专利]一种数据访问方法、装置、设备和存储介质

权利要求书

1.一种数据访问方法，其特征在于，所述方法包括：

获取用于训练目标深度学习模型的训练数据集；

根据所述训练数据集，确定目标索引文件，所述目标索引文件按照第一顺序记录所述训练数据集中每条训练数据的索引信息，所述索引信息表示训练数据在所述训练数据集中的位置；

在每轮对所述目标深度学习模型进行训练的过程中，随机打乱所述目标索引文件中所述索引信息的顺序，得到所述索引信息按照第二顺序排列的目标索引文件，所述第一顺序与所述第二顺序不同；

按照所述第二顺序，从目标索引文件确定属于同一读取批次的目标索引信息；

针对每一读取批次，从所述训练数据集中读取所述目标索引信息对应的目标训练数据输入所述目标深度学习模型，以对所述目标深度学习模型进行该轮训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据集，确定目标索引文件，包括：

在索引文件存储区域查找所述训练数据集对应的目标索引文件；

若在所述索引文件存储区域未查找到所述目标索引文件，构建所述训练数据集对应的目标索引文件。

3.根据权利要求2所述的方法，其特征在于，若所述训练数据集包括一个，所述构建所述训练数据集对应的目标索引文件，包括：

对所述训练数据集进行遍历，记录每条训练数据在所述训练数据集中的位置；

根据所述位置构建所述目标索引文件。

4.根据权利要求2所述的方法，其特征在于，若所述训练数据集包括多个，所述构建所述训练数据集对应的目标索引文件，包括：

对多个所述训练数据集分别进行遍历，记录每条训练数据在对应的训练数据集中的位置，构建第一数组；

依次打开每个所述训练数据集，并将所述训练数据集对应的文件句柄记录在第二数组中；

根据每个所述训练数据集对应的文件句柄在所述第二数组中的位置下标构建第三数组；

根据所述第一数组、所述第二数组和所述第三数组构建所述目标索引文件。

5.根据权利要求4所述的方法，其特征在于，所述从所述训练数据集中读取所述目标索引信息对应的目标训练数据输入所述目标深度学习模型，包括：

根据所述第三数组和所述第二数组，从多个所述训练数据集中确定目标训练数据所在的目标训练数据集；

根据所述第一数组，从所述目标训练数据集中读取所述目标索引信息对应的目标训练数据输入所述目标深度学习模型。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

以每个所述训练数据集的文件路径为键，以每个所述训练数据集对应的文件句柄在所述第二数组中的位置下标为值构建哈希表；

所述根据所述第一数组、所述第二数组和所述第三数组构建所述目标索引文件，包括：

根据所述第一数组、第二数组、第三数组和所述哈希表构建所述目标索引文件。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在重新读取训练数据输入所述目标深度学习模型时，根据所述哈希表重新构建所述第二数组。

8.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若在所述索引文件存储区域查找到所述目标索引文件，加载所述目标索引文件。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述索引信息通过所述训练数据在所述训练数据集中的字节偏移量表示。