[发明专利]用于模型优化的方法和设备以及加速器系统

说明书

提供了用于模型优化的方法和设备以及加速器系统。一种用于模型优化的方法包括：确定表示在目标模型中执行的操作的图形；确定目标模型的输入数据的属性；基于执行目标模型的硬件的行为模式来确定目标模型的预测性能；以及基于所述图形、输入数据的属性和目标模型的预测性能来优化在目标模型中执行的操作。

本申请要求于2019年12月10日在韩国知识产权局提交的第10-2019-0163853号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及模型优化方法和设备，以及包括模型优化设备的加速器系统。

背景技术

神经网络可具有在其中大量的具有简单功能的处理元件并行连接的计算结构。此外，神经网络作为新技术在各种领域中广泛使用以解决使用现有方法已经难以解决的问题。为了解决将输入模式分类为特定组的问题，神经网络采取模拟学习能力的算法。人工神经网络可具有基于学习结果即使针对尚未用于学习的输入模式也生成相对准确的输出的泛化能力。

目前正在对在不改变神经网络的操作结构的情况下通过优化执行方案的操作来提高性能的方法进行研究。

发明内容

提供本发明内容以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。

在一个总体方面，一种具有模型优化的方法包括：确定表示在目标模型中执行的操作的图形；确定目标模型的输入数据的属性；基于执行目标模型的硬件的行为模式来确定目标模型的预测性能；以及基于所述图形、输入数据的属性和目标模型的预测性能来优化在目标模型中执行的操作。

优化所述操作的步骤可包括：优化执行所述操作的方案。

所述硬件的行为模式可包括与以下项中的任何一个、或者任何两个或更多个的任何组合相关联的操作数据：执行所述操作时的所述硬件的存储器访问模式、存储器延迟和所述硬件的使用率。

所述硬件可包括被配置为基于目标模型来推断输入到目标模型的数据的加速器。

输入数据的属性可指示以下项中的一个或两个：输入数据是稀疏还是密集；和输入数据是分块矩阵、对角矩阵还是基于坐标列表的矩阵。

优化所述操作的步骤可包括在基于以下项中的任何一个、或者任何两个或更多个的任何组合确定的时间点来优化在目标模型中执行的操作：所述硬件的行为模式累积的程度、所述硬件的使用率、数据是否输入到目标模型和预定时段。

确定输入数据的属性的步骤可包括：使用独立于目标模型的第一机器学习(ML)模型来确定输入数据的属性。确定目标模型的预测性能的步骤可包括：使用目标模型和独立于第一ML模型的第二ML模型来确定目标模型的预测性能。

目标模型可基于优化的操作在所述硬件中被执行以推断输入到目标模型的数据。

所述硬件可以是输入有将要使用目标模型识别的数据的用户终端或者从用户终端接收将要识别的数据的服务器。

目标模型可以是神经网络模型。

所述方法还可包括：由一个或多个处理器执行目标模型，以推断对象识别、语音识别、模式识别、计算机视觉和机器翻译中任何一个中的输入数据。

在另一总体方面，一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使得处理器执行以上描述的所述方法。

在另一总体方面，一种具有模型优化的设备包括至少一个处理器，所述至少一个处理器被配置为：确定表示在目标模型中执行的操作的图形；确定目标模型的输入数据的属性；基于执行目标模型的硬件的行为模式来确定目标模型的预测性能；以及基于所述图形、输入数据的属性和目标模型的预测性能来优化在目标模型中执行的操作。