[发明专利]数据批量处理方法、装置和存储介质

权利要求书

1.一种数据批量处理方法，其特征在于，所述方法包括：

获取目标任务，并确定与所述目标任务对应的指令流；

确定与所述目标任务对应的索引全集；所述索引全集中的各索引元素用于指向待处理矩阵中的各内容元素；

将所述索引全集划分成多个数据索引集，并将各所述数据索引集分别分配至对应的处理通道；其中，每个处理通道所分配的数据索引集的元素数量，大于缓存单元所对应的缓存数量；

基于各处理通道分别对应分配的数据索引集，并行地通过各处理通道分别执行与所述指令流对应的至少一轮的目标操作，直至得到与所述目标任务对应的操作结果；

其中，每个处理通道在执行当前轮次的目标操作时，均按照相对应的数据索引集中的当前索引元素，从所述缓存单元中查找对应的内容元素以作为操作对象，当未从所述缓存单元中查找到对应的内容元素时，触发所述缓存单元根据所述当前索引元素获取缓存数量个的内容元素进行覆盖更新。

2.根据权利要求1所述的方法，其特征在于，所述将所述索引全集划分为多个数据索引集，并将各所述数据索引集分别分配至对应的处理通道，包括：

确定处理通道的通道数量以及缓存单元所对应的缓存数量；

根据所述通道数量和所述缓存数量，对所述索引全集进行划分，得到多个数据索引集，并将各所述数据索引集分别分配至对应的所述处理通道。

3.根据权利要求1所述的方法，其特征在于，所述基于各处理通道分别对应分配的数据索引集，并行地通过各处理通道分别执行与所述指令流对应的至少一轮的目标操作，包括：

对于多个处理通道中的每个处理通道，确定相应处理通道对应分配的至少一个的待处理数据索引集；

对于每个处理通道，分别从相应的待处理数据索引集中确定当前的待处理数据索引集；

基于每个处理通道各自对应的当前的待处理数据索引集，并行地通过各处理通道分别执行与所述指令流对应的至少一轮的目标操作，并在完成所述目标操作后将所述当前的待处理数据索引集更新为已完成数据索引集；

进入对下一个待处理数据索引集进行处理的流程，并返回对于多个处理通道中的每个处理通道，确定相应处理通道对应分配的至少一个的待处理数据索引集的步骤继续执行，直至基于所述索引全集中的每个数据索引集，均执行与所述指令流对应至少一轮的目标操作。

4.根据权利要求1所述的方法，其特征在于，所述指令流中包括触发顺序确定的多于一种的操作指令；所述多于一种的操作指令包括第一指令和第二指令，所述第一指令在所述第二指令之前触发；与所述指令流对应的目标操作包括与所述第一指令对应的第一目标操作、及与所述第二指令对应的第二目标操作。

5.根据权利要求1所述的方法，其特征在于，所述当未从所述缓存单元中查找到对应的内容元素时，触发所述缓存单元根据所述当前索引元素获取缓存数量个的内容元素进行覆盖更新，包括：

当未从所述缓存单元中查找到对应的内容元素时，触发本地内核根据所述当前索引元素从本地内存中获取具有连续性的、且对应缓存数量个的内容元素，并触发基于获取到的内容元素对所述缓存单元中的存储内容进行覆盖更新；所述缓存单元中覆盖存储的内容元素用于后续的目标操作的执行。

6.根据权利要求1所述的方法，其特征在于，所述目标任务包括至少一个目标子任务，且每个目标子任务对应所述多个数据索引集中的其中一个数据索引集；所述方法还包括：

确定与各数据索引集分别对应的地址表的页表数量；

根据所述页表数量对所述数据索引集进行划分，得到至少一份的索引子集；所述地址表中的每个目标页表分别对应所述索引子集中的至少一个矩阵行，所述目标页表用于存储与相对应的矩阵行中具有连续性的索引元素的地址信息；

所述基于各处理通道分别对应分配的数据索引集，并行地通过各处理通道分别执行与所述指令流对应的至少一轮的目标操作，直至得到与所述目标任务对应的操作结果，包括：

根据与各处理通道分别对应的地址表、以及各处理通道分别对应分配的数据索引集中的索引子集，通过各所述处理通道并行执行与所述指令流对应的至少一轮的目标操作，直至得到与所述目标子任务对应的操作子结果；

综合各操作子结果，得到与所述目标任务对应的操作结果。