[发明专利]模型训练优化方法、装置、计算机设备及存储介质

说明书

本发明公开了一种模型训练优化方法、装置、计算机设备及存储介质，适用于人工智能技术领域。该方法将模型训练分为文件名读取阶段、数据读取解析阶段和训练阶段，该方法包括：获取待训练模型的批处理数据大小；根据批处理数据大小，分别计算文件名读取阶段和训练阶段对应的第一时间和第二时间；确定数据读取解析阶段对应的第三时间与当前设备开启的线程数量之间的对应关系；根据第一时间、第二时间以及对应关系，计算线程的优化数值；按照优化数值开启相应数量的线程对模型进行训练。采用本方法能够尽可能地节省CPU的资源占用，使得CPU在负载最小的情况下，使模型训练过程中的数据读取解析阶段与训练阶段两个阶段的任务达到负载均衡的状态。

技术领域

本发明涉及人工智能技术领域，具体涉及一种模型训练优化方法、装置、计算机设备及存储介质。

背景技术

随着人工智能技术的不断发展，在人工智能算法模型训练过程中，数据搬运的复杂度显著提高，容易带来数据的计算开销无法覆盖数据的传输开销的问题，因此，数据读取解析阶段也是影响人工智能算法模型训练整体性能的关键因素。

在现有技术中，最常用的方式是在人工智能算法模型训练过程中开启最大线程数量来提高模型训练的整体性能。

然而统计结果显示，线程开启数量与模型训练性能并不是线性增长的关系，当数据处理线程超出CPU承载限制时，因为占用过多的CPU资源，影响系统整体运行，导致数据读取性能下降。

发明内容

有鉴于此，本发明实施例提供了一种模型训练优化方法、装置、计算机设备及存储介质，以解决在模型训练过程中对模型训练进行优化的问题。

根据第一方面，本发明实施例提供了一种模型训练优化方法，将模型训练分为文件名读取阶段、数据读取解析阶段和训练阶段；方法包括：获取待训练模型的批处理数据大小；根据批处理数据大小，分别计算文件名读取阶段和训练阶段对应的第一时间和第二时间；确定数据读取解析阶段对应的第三时间与当前设备开启的线程数量之间的对应关系；根据第一时间、第二时间以及对应关系，计算线程的优化数值；按照优化数值开启相应数量的线程对模型进行训练。

在本申请实施例中，计算机设备获取待训练模型的批处理数据大小，并根据批处理数据大小，分别计算文件名读取阶段和训练阶段对应的第一时间和第二时间。确定数据读取解析阶段对应的第三时间与当前设备开启的线程数量之间的对应关系。根据第一时间、第二时间以及对应关系，计算线程的优化数值。按照优化数值开启相应数量的线程对模型进行训练。上述方法中，计算机设备通过计算得到第一时间、第二时间以及对应关系，并根据第一时间、第二时间以及对应关系，计算线程的优化数值，实现了在待训练模型训练过程中将数据读取解析阶段与训练阶段并行调度调优。从而保证计算得到的线程的优化数值，可以缩短待训练模型在数据读取解析阶段对应的第三时间。因此，使模型训练过程中的数据读取解析阶段与训练阶段两个阶段的任务达到负载均衡的状态。从而不仅可以保证计算机设备完成待训练模型的训练过程的时间最短，且可以保证计算机设备可以完成其他任务，进而，尽可能地节省CPU的资源占用，使得CPU在负载最小的情况下，进一步优化了深度学习框架中原数据读取解析阶段与模型训练的并行流水，即提高了CPU的资源利用率，减少CPU资源浪费，提高了待训练模型的训练过程的整体性能和能效。

结合第一方面，在本申请第一方面第一实施例中，根据第一时间、第二时间以及对应关系，计算线程的优化数值，包括：

从第一时间和第二时间中确定最大时间；根据对应关系以及最大时间，计算线程的优化数值。

在本申请实施例中，由于文件名读取阶段对应的第一时间、数据读取解析阶段对应的第三时间以及训练阶段对应的第二时间中的最大时间，决定了模型训练的整个时长。因此，计算机设备从第一时间和第二时间中确定最大时间，根据对应关系以及最大时间，计算线程的优化数值。可以保证在计算机设备开启优化数值对应的线程之后，待训练模型的训练时长最短，且使得待训练模型的整个训练过程整体性能最高。