[发明专利]一种模型编译、运行方法及装置

说明书

本申请实施例提供了一种模型编译、运行方法及装置，涉及人工智能技术领域，方法包括：获得待编译模型的输入数据的多个尺寸；基于多个尺寸对待编译模型进行编译，获得待编译模型处理多个尺寸中每一尺寸的输入数据使用的模型参数和待编译模型处理每一尺寸的输入数据使用的计算指令；对各个尺寸对应的模型参数之间取值相同的参数进行合并，得到合并模型参数，并确定合并模型参数中各个参数与各个尺寸的对应关系；生成包含多个尺寸对应的计算指令、合并模型参数和对应关系的编译后模型。应用本申请实施例提供的方案对待编译模型进行编译，可以降低生成的编译后模型对存储资源和运行资源的需求。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种模型编译、运行方法及装置。

背景技术

随着人工智能技术的发展，各种网络模型在各个领域的应用越来越广泛。在具体应用中，使用的是上述各种网络模型编译后的模型，来实现各种网络模型对应的功能。

如果新的输入数据的尺寸和训练网络模型时的样本的尺寸不同，那么就需要针对网络模型进行编译，得到与新的输入数据的尺寸对应的网络模型的编译后的模型。

这样针对不同尺寸的输入数据的时候，就需要多次编译生成多个编译后的模型。由于上述网络模型一般包括多个网络层，每一层具有大量的模型参数，所以网络模型的每一编译后的模型占用的存储资源较多，多个编译后的模型占用的存储资源则更多。所以，应用上述现有技术提供的方式生成编译后的模型时，对存储资源的需求高。

发明内容

本申请实施例的目的在于提供一种模型编译、运行方法及装置，以降低生成的编译后模型对存储资源的需求。具体技术方案如下：

第一方面，本申请实施例提供了一种模型编译方法，所述方法包括：

获得待编译模型的输入数据的多个尺寸；

基于所述多个尺寸中每一尺寸对所述待编译模型进行编译，获得所述待编译模型处理所述多个尺寸中每一尺寸的输入数据使用的模型参数和所述待编译模型处理所述多个尺寸中每一尺寸的输入数据使用的计算指令；

对所述多个尺寸中各个尺寸对应的模型参数之间取值相同的参数进行合并，得到合并模型参数，并确定所述合并模型参数中各个参数与所述多个尺寸中各个尺寸的对应关系；

生成包含所述多个尺寸中每一尺寸对应的计算指令、所述合并模型参数和所述对应关系的编译后模型。

本申请的一个实施例中，所述对所述多个尺寸中各个尺寸对应的模型参数之间取值相同的参数进行合并，得到合并模型参数，包括：

针对所述待编译模型的每一网络层，对所述多个尺寸中各个尺寸对应的层参数之间取值相同的层参数进行合并，得到合并模型参数，其中，每一尺寸对应的层参数包括：该尺寸对应的模型参数中属于同一网络层的参数。

本申请的一个实施例中，所述获得所述待编译模型处理所述多个尺寸中每一尺寸的输入数据使用的模型参数，包括：

提取所述待编译模型内记录的、处理所述多个尺寸中每一尺寸的输入数据使用的模型参数；

对所提取的模型参数进行预处理，得到所述待编译模型处理所述多个尺寸中每一尺寸的输入数据使用的模型参数，其中，所述预处理包括：按照预设的参数格式转换规则对所提取的模型参数进行格式转换，和/或按照预设的计算算法对所提取的模型参数进行预计算。

本申请的一个实施例中，所述对所提取的模型参数进行预处理，包括：

基于运行所述编译后模型的处理器的性能参数，对所提取的模型参数进行格式转换；和/或

基于所述待编译模型规定的计算算法，对所提取的模型参数进行预计算。