[发明专利]一种模型压缩方法及装置

权利要求书

1.一种模型压缩方法，其特征在于，所述方法包括：

使用第一模型对训练数据进行特征提取，得到所述第一模型分别在所述第一模型中的N个特征提取层输出的特征向量；

将所述训练数据和在所述第一模型中的N个特征提取层输出的N个第一特征向量作为所述第二模型对应的N个特征提取层的训练目标，训练所述第二模型；所述第二模型是所述第一模型的压缩后的模型，所述第二模型的N个特征提取层的节点与所述第一模型的N个特征提取层的节点一一对应。

2.根据权利要求1所述的方法，其特征在于，所述第二模型包括M个特征提取层；M大于或等于N；所述将所述训练数据和在所述第一模型中的N个特征提取层输出的N个第一特征向量作为所述第二模型对应的N个特征提取层的训练目标，训练所述第二模型，包括：

根据所述第二模型在第二模型的N个特征提取层中输出的特征向量和所述第一模型在所述第一模型的N个特征提取层中输出的特征向量，确定N个特征提取层中所述第二模型相对于所述第一模型的输出损失；

根据所述N特征提取层中所述第二模型相对于所述第一模型的输出损失，调整所述第二模型的M个特征提取层的参数。

3.根据权利要求2所述的方法，其特征在于，所述第二模型的N个特征提取层包括：所述第二模型的特征提取层的倒数第2层和倒数第k层；所述k大于2；N为2；所述将所述训练数据和在所述第一模型中的N个特征提取层输出的特征向量作为所述第二模型对应的N个特征提取层的训练目标，训练所述第二模型，包括：

将所述第一模型的特征提取层的倒数第2层输出的特征向量，作为所述第二模型的特征提取层的倒数第2层的训练目标；

将所述第一模型的特征提取层的倒数第k层输出的特征向量，作为所述第二模型的特征提取层的倒数第p层的训练目标，其中k，p>2；

训练所述第二模型，以使所述训练数据在所述第二模型中的N个特征提取层输出的特征向量分别与所述第一模型在N个特征提取层输出的特征向量的误差小于预设值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述第二模型中还包括全连接层，所述方法还包括：

根据矩阵分解方法，将所述全连接层的参数分解为低秩参数；

将分解后的低秩参数作为所述全连接层的参数，根据所述训练数据的标签，训练所述全连接层。

5.一种模型压缩装置，其特征在于，所述装置包括：

收发单元，用于使用第一模型对训练数据进行特征提取，得到所述第一模型分别在所述第一模型中的N个特征提取层输出的特征向量；

处理单元，用于将所述训练数据和在所述第一模型中的N个特征提取层输出的N个第一特征向量作为所述第二模型对应的N个特征提取层的训练目标，训练所述第二模型；所述第二模型是所述第一模型的压缩后的模型，所述第二模型的N个特征提取层的节点与所述第一模型的N个特征提取层的节点一一对应。

6.根据权利要求5所述的装置，其特征在于，所述第二模型包括M个特征提取层；M大于或等于N；所述处理单元，具体用于：

根据所述第二模型在第二模型的N个特征提取层中输出的特征向量和所述第一模型在所述第一模型的N个特征提取层中输出的特征向量，确定N个特征提取层中所述第二模型相对于所述第一模型的输出损失；根据所述N特征提取层中所述第二模型相对于所述第一模型的输出损失，调整所述第二模型的M个特征提取层的参数。

7.根据权利要求6所述的装置，其特征在于，所述第二模型的N个特征提取层包括：所述第二模型的特征提取层的倒数第2层和倒数第k层；所述k大于2；N为2；所述处理单元，具体用于：

将所述第一模型的特征提取层的倒数第2层输出的特征向量，作为所述第二模型的特征提取层的倒数第2层的训练目标；

将所述第一模型的特征提取层的倒数第k层输出的特征向量，作为所述第二模型的特征提取层的倒数第p层的训练目标，其中k，p>2；训练所述第二模型，以使所述训练数据在所述第二模型中的N个特征提取层输出的特征向量分别与所述第一模型在N个特征提取层输出的特征向量的误差小于预设值。