[发明专利]一种终端部署方法和装置

权利要求书

1.一种终端部署方法，其特征在于，应用于服务器，所述方法包括：

获取终端侧提供的待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数；所述终端侧不具备支持部署所述待压缩模型的能力；所述待压缩模型被压缩后具有的性能参数与所述终端侧的硬件环境相关，其中，所述待压缩模型被压缩后具有的性能参数包括运行速度参数、计算精度参数和所占存储空间大小参数中至少一种；所述终端侧的硬件环境包括终端的数据处理性能和存储空间；

根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值；

根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果；

若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩；其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；

若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型；

将所述压缩模型部署于所述终端侧。

2.根据权利要求1所述的方法，其特征在于，第i次压缩对应的压缩算法组件包括至少一类压缩算法组件；

其中，若第i次压缩对应的压缩算法组件包括多类压缩算法组件，第i次压缩对应的候选压缩结果通过下列方式得到：

选取第一个压缩算法组件，以及对应第一个压缩算法组件的算法超参数取值对第i-1次压缩的候选压缩结果进行压缩，得到第一压缩结果；

对于未选取的压缩算法组件，继续选取压缩算法组件进行压缩；其中，第j个压缩算法组件对根据第j-1个压缩算法组件得到的压缩结果进行压缩；

将最后一个选取的压缩算法组件所得到的压缩结果作为第i次压缩对应的候选压缩结果。

3.根据权利要求1所述的方法，其特征在于，第i次压缩对应的压缩算法组件和算法超参数取值根据下列方式得到：

确定出符合针对第i次压缩的调参策略、且与所述模型类型相对应的压缩算法组件和待调超参数；

根据针对第i次压缩的调参策略调整所述待调超参数，得到第i次压缩对应的算法超参数取值。

4.根据权利要求1-3任意一项所述的方法，其特征在于，第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型和/或自动机器学习模型对第i次压缩的调参策略确定得到的；

其中，若第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的奖励信号；

若第i次压缩对应的压缩算法组件和算法超参数取值是根据自动机器学习模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的输入输出数据组。

5.根据权利要求4所述的方法，其特征在于，在确定出针对第i次压缩的调参策略之后，所述方法还包括：

根据第i次压缩的调参策略调整所述强化学习控制器模型和/或自动机器学习模型中用于确定算法超参数取值的模型参数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练数据、所述模型类型和所述压缩偏好配置；

根据所述模型类型和所述压缩偏好配置在搜索空间中搜索，确定出对应所述模型类型和所述压缩偏好配置的基本网络模型；

根据所述训练数据训练所述基本网络模型，得到所述待压缩模型。