[发明专利]数据预处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据预处理方法、装置、计算机设备和存储介质，通过将目标运算操作对应的目标输出数据存储在靠近处理器的第一存储器上和远离处理器的第二存储器上，通过减少目标输出数据的load操作，可以减少运算过程中的I/O读取操作的占用时间，从而可以提高处理器的速度及效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据预处理方法、装置、计算机设备和存储介质。

背景技术

随着数据量的爆炸式增长，机器学习等人工智能算法得到了越来越多的应用。机器是通过分析大量的数据来进行学习，因此，机器学习等大数据运算对存储器的访存量等需求急剧增大。

为了满足存储器的访存量等需求，目前通常采用多级存储器体系结构，即使用高速缓冲存储器、主存储器和外存储器的体系结构。其中，高速缓冲存储器(Cache)、主存储器和外存储器的存取速度依次减小，存储容量依次增大。但由于计算机设备中的I/O的带宽往往不能满足超大数据量的需求，因此在处理器执行机器学习运算的过程中，高速缓冲存储器与主存储器之间，和/或主存储器与外存储器之间需要频繁地进行数据读取操作。例如，在处理器执行运算的过程中，处理器首先需要从外存储器中读取输入数据，在运算结束后，处理器需要将运算结果存储至外存储器中，之后再继续从外存储器中读取下一个运算所需的输入数据。由于I/O带宽的限制，因此在一个运算过程中，至少涉及两次I/O读写操作，频繁的I/O读写操作占用时间长，导致处理器的处理效率偏低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够数据预处理方法、装置、计算机设备和存储介质，能够减少运算过程中的I/O读写操作次数，提高处理器的处理效率。

一种数据预处理方法，所述方法包括如下步骤：

获取第一存储器的可用存储容量及目标运算操作；

根据所述目标运算操作及所述第一存储器的可用存储容量，确定所述目标运算操作对应的目标输入数据；

根据所述目标运算操作和所述目标输入数据，确定所述目标运算操作的目标输出数据；

若所述目标运算操作的目标输出数据为所述目标运算操作之后的其他运算操作的输入数据时，则将所述目标运算操作的目标输出数据存储在所述第一存储器上和第二存储器上，其中，所述第一存储器靠近处理器设置，所述第二存储器远离所述处理器设置，所述第一存储器的存储容量小于所述第二存储器的存储容量。

一种数据预处理装置，所述装置包括：

获取模块，用于获取第一存储器的可用存储容量及目标运算操作；

输入确定模块，用于根据所述目标运算操作及所述第一存储器的可用存储容量，确定所述目标运算操作对应的目标输入数据；

输出确定模块，用于根据所述目标运算操作和所述目标输入数据，确定所述目标运算操作的目标输出数据；

存储分配模块，用于在所述目标运算操作的目标输出数据为所述目标运算操作之后的其他运算操作的输入数据时，则将所述目标运算操作的目标输出数据存储在所述第一存储器上和第二存储器上，其中，所述第一存储器靠近处理器设置，所述第二存储器远离所述处理器设置，所述第一存储器的存储容量小于所述第二存储器的存储容量。

一种计算机设备，包括第一存储器、第二存储器和处理器，所述第一存储器靠近所述处理器设置，所述第一存储器和所述第二存储器能够进行数据读写；所述第二存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。