[发明专利]一种数据快速读取方法、装置、电子设备及存储介质

权利要求书

1.一种数据快速读取方法，其特征在于，包括：

将数据集划分成若干份图片子集，将每个所述图片子集聚合为一个文件，所述文件中包含文件地址和各个图片的偏移信息；

给数据集中的每个图片分配一个请求编号；

通过继承深度学习平台的数据集抽象类，根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息，从而获得每张图片到该图片所属文件的映射；

根据所述映射，快速读取所述数据集中的所有图片；

其中，将数据集划分成若干份图片子集，对每个所述图片子集聚合为一个文件，具体包括：

获取数据集中所有图片的路径，组成路径集合；

将所述路径集合进行打乱；

在打乱后的路径集合中，读取n个路径，其中n代表聚合为一个文件所需的图片数量；

利用读取的n个路径，读取路径对应的图片，组建成一个图片子集，并进行归一化处理；

将归一化处理后的图片集合按照图片数量、宽度、长度、色道的多维数组存储方式聚合为一个文件。

2.根据权利要求1所述的一种数据快速读取方法，其特征在于，根据所述映射，快速读取所述数据集中的所有图片，具体包括：

通过请求编号N，读取对应的图片；

根据所述映射找到编号为N的图片所在的文件，该文件的编号记为M；

如果编号为M的文件还未载入内存，那么载入内存，否则根据所述映射从已载入内存的编号为M的文件中读取编号为N的图片的信息。

3.根据权利要求2所述的一种数据快速读取方法，其特征在于，所述图片的信息包括图片的像素值、灰度值和RGB值。

4.一种数据快速读取装置，其特征在于，包括：

聚合模块，用于将数据集划分成若干份图片子集，将每个所述图片子集聚合为一个文件，所述文件中包含文件地址和各个图片的偏移信息；

编号分配模块，用于给数据集中的每个图片分配一个请求编号；

计算模块，用于通过继承深度学习平台的数据集抽象类，根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息，从而获得每张图片到该图片所属文件的映射；

读取模块，用于根据所述映射，快速读取所述数据集中的所有图片；

其中，所述聚合模块包括：

获取子模块，用于获取数据集中所有图片的路径，组成路径集合；

打乱子模块，用于将所述路径集合进行打乱；

第一读取子模块，用于在打乱后的路径集合中，读取n个路径，其中n代表聚合为一个文件所需的图片数量；

组建归一处理子模块，用于利用读取的n个路径，读取路径对应的图片，组建成一个图片子集，并进行归一化处理；

聚合子模块，用于将归一化处理后的图片集合按照图片数量、宽度、长度、色道的多维数组存储方式聚合为一个文件。

5.根据权利要求4所述的一种数据快速读取装置，其特征在于，所述读取模块包括：

第二读取子模块，用于通过请求编号N，读取对应的图片；

寻找子模块，用于根据所述映射找到编号为N的图片所在的文件，该文件的编号记为M；

判断子模块，用于如果编号为M的文件还未载入内存，那么载入内存，否则根据所述映射从已载入内存的编号为M的文件中读取编号为N的图片的信息。

6.根据权利要求5所述的一种数据快速读取装置，其特征在于，所述图片的信息包括图片的像素值、灰度值和RGB值。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3任一项所述的方法。

8.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的方法。