[发明专利]数据预处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据预处理方法、装置、计算机设备和存储介质，通过将目标运算操作对应的目标输出数据存储在主存储器上，减少目标输出数据的读取次数，可以减少运算过程中的I/O读取操作的占用时间，从而可以提高处理器的速度及效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据预处理方法、装置、计算机设备和存储介质。

背景技术

随着数据量的爆炸式增长，机器学习等人工智能算法得到了越来越多的应用。机器是通过分析大量的数据来进行学习，因此，机器学习等大数据运算对存储器的访存量等需求急剧增大。

为了满足存储器的访存量等需求，目前通常采用多级存储器体系结构，即使用高速缓冲存储器、主存储器和外存储器的体系结构。其中，高速缓冲存储器(Cache)、主存储器和外存储器的存取速度依次减小，存储容量依次增大。但由于计算机设备中的I/O的带宽往往不能满足超大数据量的需求，因此在处理器执行机器学习运算的过程中，高速缓冲存储器与主存储器之间，和/或主存储器与外存储器之间需要频繁地进行数据读取操作。例如，在处理器执行运算的过程中，处理器首先需要从外存储器中读取输入数据，在运算结束后，处理器需要将运算结果存储至外存储器中，之后再继续从外存储器中读取下一个运算所需的输入数据。由于I/O带宽的限制，因此在一个运算过程中，至少涉及两次I/O读写操作，频繁的I/O读写操作占用时间长，导致处理器的处理效率偏低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够数据预处理方法、装置、计算机设备和存储介质，能够减少运算过程中的I/O读写操作次数，提高处理器的处理效率。

一种数据预处理方法，所述方法包括如下步骤：

获取主存储器的可用存储容量、从存储器的可用存储容量以及目标运算操作；

根据所述主存储器的可用存储容量、所述从存储器的可用存储容量以及所述目标运算操作，确定所述目标运算操作对应的目标输入数据；

根据所述目标运算操作和所述目标输入数据，确定所述目标运算操作对应的目标输出数据；

若所述目标运算操作的目标输出数据为所述目标运算操作之后的其他运算操作的输入数据时，则将所述目标输出数据对应存储在所述主存储器上。

一种数据预处理装置，所述装置包括：

获取模块，用于获取主存储器的可用存储容量、从存储器的可用存储容量以及目标运算操作；

输入确定模块，用于根据所述主存储器的可用存储容量、所述从存储器的可用存储容量以及所述目标运算操作，确定所述目标运算操作对应的目标输入数据；

输出确定模块，用于根据所述目标运算操作和所述目标输入数据，确定所述目标运算操作对应的目标输出数据；

存储分配模块，用于在所述目标运算操作的目标输出数据为所述目标运算操作之后的其他运算操作的输入数据时，则将所述目标输出数据对应存储在所述主存储器上。

一种计算机设备，包括：

处理器，所述处理器包括控制器单元和运算单元，其中，所述控制器单元与运算单元连接，所述运算单元包括一个主处理电路和多个从处理电路；

多个第一存储器，多个第一存储器包括主存储器和多个从存储器，所述主存储器靠近所述主处理器设置，多个从存储器与多个所述从处理电路对应设置，各个所述从处理器分别靠近对应的所述从处理电路设置；以及

第二存储器，所述第一存储器和所述第二存储器能够进行数据读写；

其中，所述第一存储器或第二存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。