[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取目标任务，并行获取与所述目标任务对应的多于一个数据集；确定与所述目标任务对应的指令流；所述指令流中包括触发顺序确定的多于一种的目标指令；循环地按照所述触发顺序触发各种目标指令，且在触发每种目标指令时，依次将所述多于一个数据集中的每个数据集作为触发对象，直至执行被触发的各目标指令得到与所述目标任务对应的操作结果。采用本方法能够提高数据处理效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了机器学习技术，基于机器学习技术的各种机器学习模型可以通过大量的计算来提高模型精度，而在实际应用中可通过机器学习模型来部署丰富的线上服务。机器学习模型中通常包括多个算子，如果每个算子的运算时间过长就会导致服务响应过慢。比如，对于自然语言领域的BERT模型(Bidirectional EncoderRepresentation from Transformers，一种通用预训练语言表征模型)，在实际应用场景中，可以基于该BERT模型部署丰富的线上服务场景。在这种场景下，人们往往利用图形处理器(Graphics Processing Unit，GPU)对BERT服务计算过程进行并行处理以提高线上响应速度、并降低服务延迟。而Softmax(归一化)是BERT模型中的一个重要算子，如果这个算子在GPU上运行时间过长会导致BERT的整体推理任务效率低下。

在传统方案中，为提高对大量数据进行批量处理的处理效率，常常是将待处理的数据划分成一份一份的最小处理单元，再将若干最小处理单元组成一个批次，对每一个批次的数据并行进行处理。对最小单元进行处理时，如果涉及到需要发射多个指令，而不同指令操作数具有依赖关系，那后面指令的发射就必须等待前面指令执行结束后才可发射，容易造成的指令发射卡顿现象。这样，对多个最小处理单元进行处理的整体耗时就非常大，存在对大量数据进行批量处理的效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高对大量数据进行批量处理时的处理效率的方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法包括：

获取目标任务，并行获取与所述目标任务对应的多于一个数据集；

确定与所述目标任务对应的指令流；所述指令流中包括触发顺序确定的多于一种的目标指令；

循环地按照所述触发顺序触发各种目标指令，且在触发每种目标指令时，依次将所述多于一个数据集中的每个数据集作为触发对象，直至执行被触发的各目标指令得到与所述目标任务对应的操作结果。

一种数据处理装置，所述装置包括：

获取模块，用于获取目标任务，并行获取与所述目标任务对应的多于一个数据集；

确定模块，用于确定与所述目标任务对应的指令流；所述指令流中包括触发顺序确定的多于一种的目标指令；

指令触发模块，用于循环地按照所述触发顺序触发各种目标指令，且在触发每种目标指令时，依次将所述多于一个数据集中的每个数据集作为触发对象，直至执行被触发的各目标指令得到与所述目标任务对应的操作结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取目标任务，并行获取与所述目标任务对应的多于一个数据集；

确定与所述目标任务对应的指令流；所述指令流中包括触发顺序确定的多于一种的目标指令；

循环地按照所述触发顺序触发各种目标指令，且在触发每种目标指令时，依次将所述多于一个数据集中的每个数据集作为触发对象，直至执行被触发的各目标指令得到与所述目标任务对应的操作结果。