[发明专利]训练样本数据的读取方法和装置、存储介质及电子设备

说明书

本发明公开了一种云技术场景下的训练样本数据的读取方法和装置、存储介质及电子设备，具体的，涉及数据库技术场景下的数据查询等。其中，该方法包括：从存储空间中存储的目标数据集合中按照第一数据块顺序读取样本数据块，根据读取到的样本数据块对目标模型进行模型训练，并将读取到的样本数据块缓存到目标缓存空间；当按照第一数据块顺序从目标数据集合中读取完样本数据块后，将第一数据块顺序调整为第二数据块顺序；按照第二数据块顺序，从目标缓存空间和存储空间中读取目标数据集合中的样本数据块，并根据读取到的目标数据集合中的样本数据块对目标模型进行模型训练。本发明解决了数据读取的命中率较低的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种训练样本数据的读取方法和装置、存储介质及电子设备。

背景技术

在数据读取场景下，因数据集的体量往往比内存大很多，因此仅使用内存作为缓存，无法缓存所有数据集。而现有技术为解决上述问题，提出了以下两种方案：

方案一、在深度学习模型训练时，数据集的体量往往比内存大很多，因此仅使用内存作为缓存，无法缓存所有数据集。FSCache是一种针对远程文件系统的单机缓存系统，它支持内存和SSD的多级缓存。

方案二、Memcached是分布式缓存系统，它也支持多级缓存，其使用Memcached协议，可以提供缓存加速的能力，有效地利用计算节点的资源进行缓存。

上述两个方案使用了经典缓存替换策略：先进先出（FIFO）/最近最少使用（LRU）。

但上述方案一和方案二都使用了内存和SSD的多级缓存技术，而随着深度学习模型训练所需要的数据量不断增大，配置的SSD硬盘已经无法满足大数据量的训练场景，而低容量的SSD硬盘在上述方案一和方案二中，都无法保证较高的数据读取命中率。

即，现有技术中的方案存在数据读取的命中率较低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种训练样本数据的读取方法和装置、存储介质及电子设备，以至少解决数据读取的命中率较低的技术问题。

根据本发明实施例的一个方面，提供了一种训练样本数据的读取方法，包括：从存储空间中存储的目标数据集合中按照第一数据块顺序读取样本数据块，根据上述读取到的样本数据块对目标模型进行模型训练，并将上述读取到的样本数据块缓存到目标缓存空间，直至上述目标缓存空间缓存的样本数据块达到上述目标缓存空间的缓存上限；当按照上述第一数据块顺序从上述目标数据集合中读取完样本数据块后，将上述第一数据块顺序调整为第二数据块顺序，其中，上述第一数据块顺序与上述第二数据块顺序不同；按照上述第二数据块顺序，从上述目标缓存空间和上述存储空间中读取上述目标数据集合中的样本数据块，并根据读取到的上述目标数据集合中的样本数据块对上述目标模型进行模型训练，其中，按照上述第二数据块顺序，从上述目标缓存空间和上述存储空间中读取上述目标数据集合中的样本数据块，包括：在上述目标缓存空间中查询到上述目标数据集合中的样本数据块的情况下，从上述目标缓存空间中读取上述目标数据集合中的样本数据块，在上述目标缓存空间中查询不到上述目标数据集合中的样本数据块的情况下，从上述存储空间读取上述目标数据集合中的样本数据块。