[发明专利]语义理解模型的剪枝方法、装置、电子设备和存储介质

说明书

本申请公开了一种语义理解模型的剪枝方法、装置、电子设备和存储介质，涉及人工智能、深度学习、云计算、自然语言处理、智能搜索等领域。具体实现方案为：获取第一语义理解模型；在第一搜索空间中随机采样第一剪枝策略；根据采样得到的第一剪枝策略对第一语义理解模型进行剪枝，得到第二语义理解模型；根据第二语义理解模型的性能信息，更新第一语义理解模型的参数，返回在第一搜索空间中随机采样第一剪枝策略的步骤，直至达到预设的停止条件；获取目标剪枝策略；根据目标剪枝策略，对第一语义理解模型进行剪枝，得到目标模型。本申请实施例能够通过剪枝使模型的结构复杂度降低，并减少因剪枝而损失的精度。

技术领域

本申请涉及数据处理领域，尤其涉及人工智能、深度学习、云计算、自然语言处理、智能搜索等领域。

背景技术

NLP(Natural Language Processing，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方向。人们在处理NLP任务时，通常会选择构建各种语义理解模型来解决。近年来，语义理解模型已能获取丰富的语义知识，语义表示能力大幅提升，同时，语义理解模型的模型结构也越来越复杂。

发明内容

本申请提供了一种语义理解模型的剪枝方法、装置、电子设备和存储介质。

根据本申请的一方面，提供了一种语义理解模型的剪枝方法，包括：

获取第一语义理解模型；

在第一搜索空间中随机采样第一剪枝策略，其中，第一搜索空间包括至少两个第一剪枝策略；

根据采样得到的第一剪枝策略对第一语义理解模型进行剪枝，得到第二语义理解模型；

根据第二语义理解模型的性能信息，更新第一语义理解模型的参数，返回在第一搜索空间中随机采样第一剪枝策略的步骤，直至达到预设的停止条件，得到待处理的第一语义理解模型；

获取目标剪枝策略；

根据目标剪枝策略，对待处理的第一语义理解模型进行剪枝，得到目标模型。

根据本申请的另一方面，提供了一种语义理解模型的剪枝装置，包括：

第一获取模块，用于获取第一语义理解模型；

第一采样模块，用于在第一搜索空间中随机采样第一剪枝策略，其中，第一搜索空间包括至少两个第一剪枝策略；

第一剪枝模块，用于根据采样得到的第一剪枝策略对第一语义理解模型进行剪枝，得到第二语义理解模型；

第一更新模块，用于根据第二语义理解模型的性能信息，更新第一语义理解模型的参数，返回在第一搜索空间中随机采样第一剪枝策略的步骤，直至达到预设的停止条件，得到待处理的第一语义理解模型；

第二获取模块，用于获取目标剪枝策略；

目标剪枝模块，用于根据目标剪枝策略，对待处理的第一语义理解模型进行剪枝，得到目标模型。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意实施例提供的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请任意实施例提供的方法。