[发明专利]用于模型优化的方法和设备以及加速器系统

权利要求书

1.一种用于模型优化的方法，所述方法包括：

确定表示在目标模型中执行的操作的图形；

确定目标模型的输入数据的属性；

基于执行目标模型的硬件的行为模式来确定目标模型的预测性能；以及

基于所述图形、输入数据的属性和目标模型的预测性能来优化在目标模型中执行的操作。

2.根据权利要求1所述的方法，其中，优化所述操作的步骤包括：优化执行所述操作的方案。

3.根据权利要求1或2所述的方法，其中，所述硬件的行为模式包括与以下项中的任何一个、或者任何两个或更多个的任何组合相关联的操作数据：执行所述操作时的所述硬件的存储器访问模式、存储器延迟、所述硬件的使用率和中央处理器利用率。

4.根据权利要求1所述的方法，其中，所述硬件包括被配置为基于目标模型来推断输入到目标模型的数据的加速器。

5.根据权利要求1、2或4所述的方法，其中，输入数据的属性指示以下项中的一个或两个：输入数据是稀疏还是密集；和输入数据是分块矩阵、对角矩阵还是基于坐标列表的矩阵。

6.根据权利要求1、2或4所述的方法，其中，优化所述操作的步骤包括：在基于以下项中的任何一个、或者任何两个或更多个的任何组合确定的时间点来优化在目标模型中执行的操作：所述硬件的行为模式累积的程度、所述硬件的使用率、数据是否被输入到目标模型和预定时段。

7.根据权利要求1、2或4所述的方法，其中，确定输入数据的属性的步骤包括：使用独立于目标模型的第一机器学习模型来确定输入数据的属性，并且

其中，确定目标模型的预测性能的步骤包括：使用目标模型和独立于第一机器学习模型的第二机器学习模型来确定目标模型的预测性能。

8.根据权利要求1所述的方法，其中，目标模型基于优化的操作在所述硬件中被执行以推断输入到目标模型的数据。

9.根据权利要求1所述的方法，其中，所述硬件是输入有将要使用目标模型识别的数据的用户终端或者从用户终端接收将要识别的数据的服务器。

10.根据权利要求1所述的方法，所述方法还包括：由一个或多个处理器执行目标模型，以推断对象识别、语音识别、模式识别、计算机视觉和机器翻译中的任何一个中的输入数据。

11.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使得所述处理器执行权利要求1至10中的任意一项所述的方法。

12.一种用于模型优化的设备，所述设备包括：

至少一个处理器，被配置为：

确定表示在目标模型中执行的操作的图形；

确定目标模型的输入数据的属性；

基于执行目标模型的硬件的行为模式来确定目标模型的预测性能；以及

基于所述图形、输入数据的属性和目标模型的预测性能来优化在目标模型中执行的操作。

13.根据权利要求12所述的设备，其中，所述至少一个处理器还被配置为通过优化执行所述操作的方案来优化所述操作。

14.根据权利要求12或13所述的设备，其中，所述硬件的行为模式包括与以下项中的任何一个、或者任何两个或更多个的任何组合相关联的操作数据：执行所述操作时的所述硬件的存储器访问模式、存储器延迟、所述硬件的使用率和中央处理器的利用率。

15.根据权利要求12所述的设备，其中，所述硬件包括被配置为基于目标模型来推断输入到目标模型的数据的加速器。