[发明专利]一种数据快速读取方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据快速读取方法、装置、电子设备及存储介质，该方法包括：将数据集划分成若干份图片子集，对每个图片子集进行归一化处理，并分别聚合为一个文件；给数据集中的每个图片分配一个请求编号；通过继承深度学习平台的数据集抽象类，根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息，从而获得每张图片到该图片所属文件的映射；根据所述映射，快速读取数据集中的所有图片。将每个所述图片子集聚合为一个文件，减少了海量小样本元数据管理的开销，优化了数据集的组织形式，极大地提升了图片的读取速度；图片读取时通过多级地址映射，取代了原本低效的海量图片中随机查找的过程，极大地提升了读取速率。

技术领域

本发明涉及深度学习领域，尤其涉及一种数据快速读取方法、装置、电子设备及存储介质。

背景技术

作为一种自动描述对象、趋势和异常的方法，深度学习在科学及商用领域得到了广泛的运用。深度学习的具体流程为：1.设定损失函数，初始化模型参数。2.从选定的训练数据集中随机读取一定批次数量的数据，输入模型，进行正向传播，计算得到损失值。3. 再使用后向传播方法，将相应的损失值逐层反方向传递，计算出每个参数的参数误差。随后使用模型参数更新优化方法更新模型参数。4.重复2，3两步，直到损失值降到可接受的值，模型得到收敛。

在整个深度学习过程中会频繁地随机读取整个数据集中的样本，计算损失值，更新模型参数。数据集本身体积非常大，但是样本本身又是非常小的文件，以致引入了一个海量小文件的随机I\O问题，造成了严重的I\O瓶颈。

发明内容

本发明实施例的目的是提供一种数据快速读取方法、装置、电子设备及存储介质，以解决相关技术中数据集读取缓慢的问题。

根据本发明实施例的第一方面，提供一种数据快速读取方法，包括：

将数据集划分成若干份图片子集，将每个所述图片子集聚合为一个文件，所述文件中包含文件地址和各个图片的偏移信息；

给数据集中的每个图片分配一个请求编号；

通过继承深度学习平台的数据集抽象类，根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息，从而获得每张图片到该图片所属文件的映射；

根据所述映射，快速读取所述数据集中的所有图片。

进一步地，将数据集划分成若干份图片子集，对每个所述图片子集进行归一化处理后聚合为一个文件，具体包括：

获取数据集中所有图片的路径，组成路径集合；

将所述路径集合进行打乱；

在打乱后的路径集合中，读取n个路径，其中n代表聚合为一个文件所需的图片数量；

利用读取的n个路径，读取路径对应的图片，组建成一个图片子集，并进行归一化处理；

将归一化处理后的图片集合按照图片数量、宽度、长度、色道的多维数组存储方式聚合为一个文件。

进一步地，根据所述映射，快速读取所述数据集中的所有图片，具体包括：

通过请求编号N，读取对应的图片；

根据所述映射找到编号为N的图片所在的文件，该文件编号记为M；

如果编号为M的文件还未载入内存，那么载入内存，否则根据所述映射从已载入内存的编号为M的文件中读取编号为N的图片的信息。

根据本发明实施例的第二方面，提供一种数据快速读取装置，包括：

聚合模块，用于将数据集划分成若干份图片子集，将每个所述图片子集聚合为一个文件，所述文件中包含文件地址和各个图片的偏移信息；