[发明专利]语义理解模型的剪枝方法、装置、电子设备和存储介质

权利要求书

1.一种语义理解模型的剪枝方法，包括：

获取第一语义理解模型；

利用编码生成器在搜索空间中采样剪枝策略；其中，所述搜索空间包括至少两个剪枝策略，所述搜索空间中的每个剪枝策略包括与所述第一语义理解模型中的各个卷积层分别对应的剪枝率，所述剪枝率为卷积层中待剪切的通道数量与现有通道数量的比例；

根据采样得到的剪枝策略，对所述第一语义理解模型进行剪枝，得到第二语义理解模型；

确定所述第二语义理解模型的性能信息；

根据所述性能信息更新所述编码生成器，返回所述利用编码生成器在搜索空间中采样剪枝策略的步骤，直至采样剪枝策略的次数达到预设阈值N；其中，N为大于或等于2的整数；

将第N次采样得到的剪枝策略对应的第二语义理解模型确定为目标模型；

所述根据采样得到的剪枝策略，对所述第一语义理解模型进行剪枝，包括：

根据采样得到的剪枝策略中的每个剪枝率，确定所述剪枝率对应的卷积层中待剪切的通道数量M；其中，M为大于或等于0的整数；

剪切所述卷积层中权重最低的M个通道。

2.根据权利要求1中所述的方法，其中，在首次利用编码生成器在搜索空间中采样剪枝策略之前，还包括：

根据所述搜索空间，初始化所述编码生成器，以使所述编码生成器能够生成与所述搜索空间中的剪枝策略对应的采样编码。

3.根据权利要求2所述的方法，其中，所述利用编码生成器在搜索空间中采样剪枝策略，包括：

利用编码生成器，生成采样编码；

对所述采样编码进行解码，得到所述采样编码对应的剪枝策略。

4.根据权利要求1中所述的方法，其中，所述第一语义理解模型为知识增强语义表示ERNIE模型。

5.根据权利要求1中所述的方法，还包括：

获取待识别文本；

根据所述目标模型，得到所述待识别文本的识别结果。

6.一种语义理解模型的剪枝装置，包括：

第一获取模块，用于获取第一语义理解模型；

采样模块，用于利用编码生成器在搜索空间中采样剪枝策略；其中，所述搜索空间包括至少两个剪枝策略，所述搜索空间中的每个剪枝策略包括与所述第一语义理解模型中的各个卷积层分别对应的剪枝率，所述剪枝率为卷积层中待剪切的通道数量与现有通道数量的比例；

剪枝模块，用于根据采样得到的剪枝策略，对所述第一语义理解模型进行剪枝，得到第二语义理解模型；

第一确定模块，用于确定所述第二语义理解模型的性能信息；

更新模块，用于根据所述性能信息更新所述编码生成器，返回所述利用编码生成器在搜索空间中采样剪枝策略的步骤，直至采样剪枝策略的次数达到预设阈值N；其中，N为大于或等于2的整数；

第二确定模块，用于将第N次采样得到的剪枝策略对应的第二语义理解模型确定为目标模型；

所述剪枝模块包括：

卷积层剪枝单元，用于根据采样得到的剪枝策略中的每个剪枝率，对所述剪枝率对应的卷积层进行剪枝；

所述卷积层剪枝单元包括：

数量确定子单元，用于根据采样得到的剪枝策略中的每个剪枝率，确定所述剪枝率对应的卷积层中待剪切的通道数量M；其中，M为大于或等于0的整数；

剪切子单元，用于剪切所述卷积层中权重最低的M个通道。

7.根据权利要求6中所述的装置，还包括：

初始化模块，用于根据所述搜索空间，初始化所述编码生成器，以使所述编码生成器能够生成与所述搜索空间中的剪枝策略对应的采样编码。

8.根据权利要求7所述的装置，其中，采样模块包括：

生成单元，用于利用编码生成器，生成采样编码；

解码单元，用于对所述采样编码进行解码，得到所述采样编码对应的剪枝策略。

9.根据权利要求6中所述的装置，其中，所述第一语义理解模型为知识增强语义表示ERNIE模型。