[发明专利]数据预处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据预处理方法，其特征在于，所述方法包括如下步骤：

获取第一存储器的可用存储容量及目标运算操作；

根据所述目标运算操作及所述第一存储器的可用存储容量，确定所述目标运算操作对应的目标输入数据；

根据所述目标运算操作和所述目标输入数据，确定所述目标运算操作的目标输出数据；

若所述目标运算操作的目标输出数据为所述目标运算操作之后的其他运算操作的输入数据时，则将所述目标运算操作的目标输出数据存储在所述第一存储器上和第二存储器上，其中，所述第一存储器靠近处理器设置，所述第二存储器远离所述处理器设置，所述第一存储器的存储容量小于所述第二存储器的存储容量。

2.根据权利要求1所述的方法，其特征在于，所述目标运算操作包括一个以上的运算操作，每个所述运算操作对应有子目标输入数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标运算操作及所述第一存储器的可用存储容量，确定所述目标运算操作对应的目标输入数据，包括：

根据所述第一存储器的可用存储容量，确定各个所述运算操作对应的子目标输入数据，并根据各个运算操作对应的子目标输入数据确定所述目标运算操作对应的目标输入数据，以实现根据所述目标运算操作及所述第一存储器的可用存储容量，确定所述目标运算操作对应的目标输入数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标运算操作及所述第一存储器的可用存储容量，确定所述目标运算操作对应的目标输入数据的步骤，还包括：

根据所述第一存储器的可用存储容量及待处理运算中各个运算操作的融合属性，确定能够融合的运算操作的数量，获得融合数量阈值；

将选定数量的所述能够融合的运算操作的组合作为所述目标运算操作，所述选定数量小于或等于所述融合数量阈值；

将所述选定数量的各个运算操作对应的子目标输入数据作为所述目标运算操作对应的目标输入数据。

5.根据权利要求4所述的方法，其特征在于，所述待处理运算为包含多个运算层的神经网络运算，每个所述运算层表示一个所述运算操作；所述方法还包括如下步骤：

根据所述神经网络运算的各个运算层的连接关系，确定各个所述运算操作的融合属性。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括如下步骤：

若所述目标运算操作中当前运算操作输出的中间计算结果需作为所述目标运算操作中其他运算操作的输入数据，或所述当前运算操作输出的中间计算结果需作为其他目标运算操作的输入数据时，则将所述当前运算操作输出的中间计算结果存储于第一存储器上，或将所述当前运算操作输出的中间计算结果存储于第一存储器和第二存储器上。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述目标运算操作对应的全部输入数据包括多个输入数据块，所述目标运算操作对应的目标输入数据的数量为一个以上，每个所述目标输入数据包含一个以上的所述输入数据块。

8.根据权利要求7所述的方法，其特征在于，所述目标运算操作包括一个以上的子目标运算操作，每个所述子目标运算操作对应一个所述目标输入数据；所述方法还包括如下步骤：

分别根据各个所述子目标运算操作的目标输入数据容量及目标输出数据的数据容量，确定各个所述子目标运算操作所需的目标存储容量；

根据所述第一存储器的可用存储容量以及当前子目标运算操作所需的目标存储容量，确定所述第一存储器的剩余存储容量；

根据所述第一存储器的剩余存储容量，以及所述当前子目标运算操作之外的其他子目标运算操作所需的目标存储容量，确定所述子目标运算操作的数量。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括如下步骤：

若一个以上的所述子目标运算操作的目标输入数据存在交集时，则将所述一个以上的子目标运算操作的目标输入数据之间的交集存储在所述第一存储器上。