[发明专利]语义理解模型的剪枝方法、装置、电子设备和存储介质

说明书

本申请公开了一种语义理解模型的剪枝方法、装置、电子设备和存储介质，涉及人工智能、深度学习、云计算、自然语言处理、智能搜索等领域。具体实现方案为：获取第一语义理解模型；利用编码生成器在搜索空间中采样剪枝策略；根据采样得到的剪枝策略，对第一语义理解模型进行剪枝，得到第二语义理解模型；确定第二语义理解模型的性能信息；根据性能信息更新编码生成器，返回采样剪枝策略的步骤，直至采样剪枝策略的次数达到预设阈值N；将第N次采样得到的剪枝策略对应的第二语义理解模型确定为目标模型。实施本申请实施例，可以得到语义表示能力强且结构精简的目标模型。

技术领域

本申请涉及数据处理领域，尤其涉及人工智能、深度学习、云计算、自然语言处理、智能搜索等领域。

背景技术

NLP(Natural Language Processing，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方向。人们在处理NLP任务时，通常会选择构建各种语义理解模型来解决。近年来，语义理解模型已能获取丰富的语义知识，语义表示能力大幅提升，同时，语义理解模型的模型结构也越来越复杂。

发明内容

本申请提供了一种语义理解模型的剪枝方法、装置、电子设备和存储介质。

根据本申请的一方面，提供了一种语义理解模型的剪枝方法，包括：

获取第一语义理解模型；

利用编码生成器在搜索空间中采样剪枝策略；其中，搜索空间包括至少两个剪枝策略；

根据采样得到的剪枝策略，对第一语义理解模型进行剪枝，得到第二语义理解模型；

确定第二语义理解模型的性能信息；

根据性能信息更新编码生成器，返回利用编码生成器在搜索空间中采样剪枝策略的步骤，直至采样剪枝策略的次数达到预设阈值N；其中，N为大于或等于2的整数；

将第N次采样得到的剪枝策略对应的第二语义理解模型确定为目标模型。

根据本申请的另一方面，提供了一种语义理解模型的剪枝装置，包括：

第一获取模块，用于获取第一语义理解模型；

采样模块，用于利用编码生成器在搜索空间中采样剪枝策略；其中，搜索空间包括至少两个剪枝策略；

剪枝模块，用于根据采样得到的剪枝策略，对第一语义理解模型进行剪枝，得到第二语义理解模型；

第一确定模块，用于确定第二语义理解模型的性能信息；

更新模块，用于根据性能信息更新编码生成器，返回利用编码生成器在搜索空间中采样剪枝策略的步骤，直至采样剪枝策略的次数达到预设阈值N；其中，N为大于或等于2的整数；

第二确定模块，用于将第N次采样得到的剪枝策略对应的第二语义理解模型确定为目标模型。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意实施例提供的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请任意实施例提供的方法。