[发明专利]一种对存储训练数据的云存储系统的测试方法及装置

说明书

本发明实施例提供了一种对存储训练数据的云存储系统的测试方法及装置，上述方法包括：获得待训练模型和训练参数，生成第一训练任务；基于第一训练任务对应的待训练模型和训练参数，向云存储系统发送数据加载请求，以从云存储系统加载待训练模型所需要的第一待训练数据；基于从云存储系统加载的第一待训练数据，执行第一训练任务；并确定第一训练任务的训练精度，作为第一精度测试结果数据。采用上述方法实现了对存储训练数据的存储系统的有效测试。

技术领域

本发明涉及存储系统的测试技术领域，特别是涉及一种对存储训练数据的云存储系统的测试方法及装置。

背景技术

随着深度学习驱动的AI服务越来越多，对深度学习模型进行训练的工作越来越多。对深度学习模型进行训练往往需要大量的训练数据，而且模型训练过程中，训练数据会被频繁的读/写，这就对存储训练数据的设备提出了很高的要求。为此，专用于存储训练数据的云存储系统应运而生。

然而，专用于存储训练数据的云存储系统的性能如何，目前还没有有效的测试方法。

发明内容

本发明实施例的目的在于提供一种对存储训练数据的存储系统的测试方法、装置及电子设备，以实现对存储训练数据的存储系统的有效测试。

为了达到上述目的，本发明实施例提供了一种对存储训练数据的存储系统的测试方法，包括：

获得待训练模型和训练参数，生成第一训练任务；

基于第一训练任务对应的待训练模型和训练参数，向所述云存储系统发送数据加载请求，以从所述云存储系统加载所述待训练模型所需要的第一待训练数据；

基于从所述云存储系统加载的第一待训练数据，执行所述第一训练任务；并确定第一训练任务的训练精度，作为第一精度测试结果数据。

进一步的，该方法还包括：

基于所述第一训练任务对应的待训练模型和训练参数，向测试对照存储系统发送数据加载请求，以从所述测试对照存储系统加载所述待训练模型所需要的待训练数据；所述测试对照存储系统为与所述云存储系统不同的存储系统，且存储有与所述云存储系统相同的待训练数据；

基于从测试对照存储系统加载的待训练数据，执行所述第一训练任务；并确定第一训练任务的训练精度，作为第二精度测试结果数据；

将所述第一精度测试结果数据与第二精度测试结果数据进行比较，得到训练精度测试比较结果数据。

进一步的，待训练数据包括：训练集和验证集；

所述基于从所述云存储系统加载的第一待训练数据，执行所述第一训练任务；并确定第一训练任务的训练精度，作为第一精度测试结果数据步骤，包括：

基于从所述云存储系统加载的训练集，对第一训练任务对应的待训练模型进行至少一次迭代训练；

使用验证集确定每次迭代训练后的待训练模型的准确率，将每次迭代训练后的待训练模型的准确率均作为第一精度测试结果数据；

所述基于从测试对照存储系统加载的待训练数据，执行所述第一训练任务；并确定第一训练任务的训练精度，作为第二精度测试结果数据的步骤，包括：

基于从所述测试对照存储系统加载的训练集，对第一训练任务对应的待训练模型进行至少一次迭代训练；

使用验证集确定每次迭代训练后的待训练模型的准确率，将每次迭代训练后的待训练模型的准确率均作为第二精度测试结果数据。

进一步的，该方法还包括：

获得待训练模型和所述待训练模型的训练参数，生成针对至少一种类型的待训练模型的至少一个第二训练任务；