[发明专利]模型蒸馏及相关方法、装置和电子设备、存储介质

说明书

本申请公开了一种模型蒸馏及相关方法、装置和电子设备、存储介质，其中，模型蒸馏方法包括：获取第一模型和第二模型；其中，第一模型的第一参数数量多于第二模型的第二参数数量；基于第一模型和第二模型，得到多个网络模型；其中，多个网络模型包括第一模型、第二模型和预设数值个第三模型，第三模型的第三参数数量少于第一参数数量且多于第二参数数量；利用样本数据对多个网络模型进行模型蒸馏，得到目标模型。上述方案，能够提升模型蒸馏效果。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种模型蒸馏及相关方法、装置和电子设备、存储介质。

背景技术

近年来，神经网络在计算机视觉、语音、自然语言处理以及机器人等应用领域已经取得卓越进展。但同时也面临着巨大挑战，其中之一就是网络模型的复杂度及推理速度。通常来说，网络模型的容量越大，其拟合能力也越强，尤其是在大数据集的任务中，强大的模型可以取得异常卓越的性能，与此同时，其参数量太大而不便部署、推理速度太长等缺陷导致很难满足实际应用需求。有鉴于此，得益于能够利用小模型（即学生模型，studentmodel）学习大模型（即教师模型，teacher model）的知识，同时享受大模型的准确度与小模型的速度等有益表现，模型蒸馏脱颖而出，因此对模型蒸馏的研究逐渐成为现阶段研究任务的重要一环。

然而，本申请发明人经研究发现，现有模型蒸馏，无论是基于输出层的蒸馏，还是基于中间层的蒸馏，在实际应用中，其知识转移效果均很难提升，特别是在大模型与小模型的参数量差距较大的情况下，模型蒸馏效果甚至很难满足实际需求。有鉴于此，如何提高模型蒸馏效果成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种模型蒸馏及相关方法、装置和电子设备、存储介质，能够提升模型蒸馏效果。

为了解决上述技术问题，本申请第一方面提供了一种模型蒸馏方法，包括：获取第一模型和第二模型；其中，第一模型的第一参数数量多于第二模型的第二参数数量；基于第一模型和第二模型，得到多个网络模型；其中，多个网络模型包括第一模型、第二模型和预设数值个第三模型，第三模型的第三参数数量少于第一参数数量且多于第二参数数量；利用样本数据对多个网络模型进行模型蒸馏，得到目标模型。

为了解决上述技术问题，本申请第二方面提供了一种数据处理方法，包括：获取待处理数据，其中，待处理数据包括图像数据、音频数据、文本数据中至少一者；利用目标模型对待处理数据进行处理，得到处理结果；其中，目标模型是利用上述第一方面中的模型蒸馏方法得到的。

为了解决上述技术问题，本申请第三方面提供了一种模型蒸馏装置，包括：初始模型获取模块、网络模型获取模块和目标模型获取模块，初始模型获取模块，用于获取第一模型和第二模型；其中，第一模型的第一参数数量多于第二模型的第二参数数量；网络模型获取模块，用于基于第一模型和第二模型，得到多个网络模型；其中，多个网络模型包括第一模型、第二模型和预设数值个第三模型，第三模型的第三参数数量少于第一参数数量且多于第二参数数量；目标模型获取模块，用于利用样本数据对多个网络模型进行模型蒸馏，得到目标模型。

为了解决上述技术问题，本申请第四方面提供了一种数据处理装置，包括：数据获取模块和数据处理模块，数据获取模块，用于获取待处理数据，其中，待处理数据包括图像数据、音频数据、文本数据中至少一者；数据处理模块，用于利用目标模型对待处理数据进行处理，得到处理结果；其中，目标模型是利用上述第三方面中的模型蒸馏装置得到的。

为了解决上述技术问题，本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的模型蒸馏方法，或实现上述第二方面中的数据处理方法。

为了解决上述技术问题，本申请第六方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的模型蒸馏方法，或实现上述第二方面中的数据处理方法。