[发明专利]模型的数据处理系统、方法和存储介质

说明书

本申请公开了一种模型的数据处理系统、方法和存储介质。其中，该系统包括：第一存储设备，用于基于任意一个执行单元在深度学习模型中的预定执行顺序，确定当前待执行的目标执行单元；至少一第一目标存储设备，用于将第一目标存储空间中存储的目标执行单元的权重数据，依次经由存储设备集合中至少一存储设备返回存储至第一存储空间，其中，存储设备集合包括至少一第一目标存储设备，第一目标存储设备用于预先按照预定执行顺序，依次将每个执行单元的权重数据存储至第一目标存储空间；执行设备，用于基于第一存储空间中存储的目标执行单元的权重数据，执行目标执行单元。本申请解决了模型执行过程中数据处理所占用的存储空间多的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种模型的数据处理系统、方法和存储介质。

背景技术

随着场景越来越复杂，使用的深度学习模型也会越来越多，在多语种机器翻译或多语言识别等场景中，在线服务等深度学习模型数量可达到100个以上。

目前，单机的中央处理器的通用内存以及单张显卡的图形处理器（GraphicsProcessing Unit，简称为GPU）的独占内存是有限的，无法同时将所有深度学习模型在单机或者单卡上部署，因此，在资源有限的情况下，会存在模型执行过程中数据处理所占用的存储空间多的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种模型的数据处理系统、方法和存储介质，以至少解决模型执行过程中数据处理所占用的存储空间多的技术问题。

根据本申请实施例的一个方面，提供了一种模型的数据处理的系统。该系统可以包括：第一存储设备，用于基于任意一个执行单元在深度学习模型中的预定执行顺序，确定当前待执行的目标执行单元，其中，任意一个执行单元的权重数据待加载到第一存储设备的第一存储空间；至少一第一目标存储设备，用于将第一目标存储空间中存储的目标执行单元的权重数据，依次经由存储设备集合中至少一存储设备返回存储至第一存储空间，其中，存储设备集合包括至少一第一目标存储设备，第一目标存储设备用于预先按照预定执行顺序，依次将每个执行单元的权重数据存储至第一目标存储空间；执行设备，用于基于第一存储空间中存储的目标执行单元的权重数据，执行目标执行单元。

根据本申请实施例的一个方面，提供了一种模型的数据处理的方法。该方法可以应用于图形处理器，该方法可以包括：确定待执行的深度学习模型；基于深度学习模型中包含的任意一个执行单元的预定执行顺序，确定当前待执行的目标执行单元，其中，任意一个执行单元的权重数据待加载到第一存储设备的第一存储空间；获取从至少一第一目标存储设备的第一目标存储空间开始，依次经由存储设备集合中包含的至少一个存储设备返回的目标执行单元的权重数据，其中，存储设备集合包括至少一第一目标存储设备，第一目标存储设备用于预先按照预定执行顺序，依次将每个执行单元的权重数据存储至第一目标存储空间；将目标执行单元的权重数据存储至第一存储空间，其中，第一存储空间中存储的目标执行单元的权重数据用于执行目标执行单元。

根据本申请实施例的另一个方面，提供了另一种模型的数据处理的方法。该方法可以包括：响应作用于操作界面上的模型执行指令，调用当前待执行的目标执行单元，其中，目标执行单元为基于深度学习模型中包含的任意一个执行单元在深度学习模型中的预定执行顺序而确定，任意一个执行单元的权重数据加载到第一存储设备的第一存储空间；响应作用于操作界面上的对象执行指令，基于加载到第一存储空间中的目标执行单元的权重数据，执行目标执行单元，其中，每个执行单元的权重数据为按照每个执行单元的预定执行顺序，存储至存储设备集合中至少一第一目标存储设备的第一目标存储空间，目标执行单元的权重数据依次经由存储设备集合中包含的至少一个存储设备返回存储至第一存储空间。