[发明专利]模型推理异常处理方法及装置

说明书

本申请提供了一种模型推理异常处理方法，该方法包括加速器接收并执行应用处理器下发的目标模型推理会话的各模型推理任务，上述目标模型推理会话中包含多个目标任务流，一个目标任务流包含多个模型推理任务；当执行上述目标模型推理会话中任一目标任务流中的任一模型推理任务出现异常时，上述加速器按照异常处理模式执行上述目标模型推理会话中包含的剩余模型推理任务，其中，上述剩余模型推理任务为在上述任一模型推理任务之后执行的所有模型推理任务；上述加速器向上述应用处理器反馈上述目标模型推理会话异常。采用本申请，可以减少模型推理异常造成的计算资源浪费，及时将模型推理异常进行反馈，提高模型推理效率，适用性高。

技术领域

本申请涉及计算机网络技术领域，尤其涉及一种模型推理异常处理方法及装置。

背景技术

随着计算机网络技术的发展，有越来越多应用场景需要构建神经网络模型。例如在自动驾驶系统中，有大量的场景需要用到人工智能(Artificial Intelligence，AI)模型推理，而AI模型本质是一种深度神经网络模型，神经网络模型具有矩阵和矢量计算密集的特点，对系统的运算能力要求很高。普通的中央处理器(Central Processing Unit，CPU)一般不能满足神经网络模型的算力需求，因此需要用到专用的加速器来执行推理加速，比如图形处理器(Graphics Processing Unit，GPU)，或专门定制的嵌入式神经网络处理器(Neural-network Processing Unit，NPU)等。由此可见，神经网络模型的推理过程通常在异构系统中执行，即由应用侧将神经网络模型下发到加速器(比如GPU或者NPU)执行，等待加速器执行完成后，由应用侧读取加速器的处理结果。通常情况下，由于接口限制，应用侧需要将神经网络模型分拆成可以由加速器进行处理的任务流，然后下发给加速器处理。多个任务流之间的任务可以在加速器上并行执行，同一任务流的任务只能串行执行。当加速器执行某个任务流中的任务出错时，加速器需要将错误返回给应用侧。

本申请的发明人在研究和实践过程中发现，现有技术中，加速器执行某个任务流的任务出现错误时，只是将错误记录到该任务流上，后续任务依然会执行，直至该任务流的所有任务执行结束，这会极大地浪费加速器的计算资源，也可能因为加速器执行了错误的任务导致其他不可预知的错误。此外由于应用侧只与加速器中的一个任务流进行同步，当错误发生在其他任务流内，加速器无法将错误信息返回给应用侧，应用侧无法知道发生错误的任务流，适用性差。

发明内容

本申请提供了一种模型推理异常处理方法及装置，可减少模型推理异常造成的计算资源浪费，及时将模型推理异常进行反馈，提高模型推理效率，适用性高。

第一方面，本申请提供了一种模型推理异常处理方法，该方法可适用于加速器。加速器可接收并执行应用处理器下发的目标模型推理会话的各模型推理任务，目标模型推理会话中包含多个目标任务流，一个目标任务流包含多个模型推理任务。这里，加速器可以接收应用处理器下发的多个模型推理会话中各任务流中的模型推理任务，加速器可以区分不同模型推理会话中的各任务流所包含的模型推理任务。这里，任务流由多个模型推理任务构成，这些模型推理任务由加速器执行。当加速器执行目标模型推理会话中任一目标任务流中的任一模型推理任务出现异常时，加速器可以按照异常处理模式执行目标模型推理会话中包含的剩余模型推理任务。这里，异常处理模式是一种节省加速器计算资源的模型推理任务执行模式。剩余模型推理任务为在任一模型推理任务之后执行的所有模型推理任务。加速器可向应用处理器反馈目标模型推理会话异常。在本申请中，加速器可以区分不同模型推理会话中的各任务流所包含的模型推理任务，当某一个模型推理会话(比如目标模型推理会话)中的其中一个模型推理任务出现异常时，可按照异常处理模式执行目标模型推理会话中剩余的模型推理任务，从而减少模型推理任务异常造成的计算资源浪费。同时加速器可以在目标模型推理会话中任一目标任务流中的模型推理任务出现异常时，反馈目标模型推理会话异常给应用处理器，提高模型推理效率，适用性高。