[发明专利]数据处理方法及装置、电子设备和计算机可读存储介质

说明书

本申请公开了一种数据处理方法及装置、电子设备和计算机可读存储介质。该方法包括：获取压缩参数的初始值以及与所述初始值对应的模型精度值，其中，所述模型精度值为采用所述压缩参数的初始值压缩后的目标模型的计算精度；比较所述模型精度值与原始精度值的大小，并根据比较结果，调整所述压缩参数的数值，其中，所述原始精度值为压缩前的所述目标模型的计算精度；输出所述压缩参数的调整后的数值。本申请实施例能够通过判断目标模型在被压缩前后的计算精度的变化，来调整压缩参数的数值，从而得到适合该目标模型的压缩参数，以达到较佳的压缩效果。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据处理方法及装置、电子设备和计算机可读存储介质。

背景技术

随着人工智能技术的发展，已经在越来越多的领域中采用人工智能技术来进行包括计算机视觉、语音识别、自然语言处理等方面的计算任务。特别是深度神经网络由于其能够利用长期记忆进行学习，从而大幅度地提升了人工智能技术的自我学习能力和计算效果。因此，深度神经网络随着人工智能技术的发展而得到了越来越广泛的应用。深度神经网络由于其具有长期记忆的特性，使得其在使用中需要巨大的计算开销和内存存储空间，但是在人工智能技术的应用越来越广泛的情况下，越来越多的应用场景都是具有有限资源的计算环境。因此，在这样的计算环境下，采用深度神经网络的人工智能技术一方面计算效率受到计算资源的限制和影响，另一方面，深度神经网络对于计算资源的巨大需求甚至阻碍了其在深入人们生活的各个场景中的应用。

在现有技术中，已经提出了针对深度神经网络存在的或多或少的参数冗余的情况，使用适当的模型压缩方式来对这样的网络进行压缩，从而获得相对轻量并且同时还保持一定程度的准确率的网络，以适应具有有限的计算资源的应用场景。在现有技术中，例如已经采用了ADMM(Alternating Direction Method of Multipliers，交替方向乘子法)来进行神经网络参数量的压缩处理。但是对于现有技术中所使用的例如ADMM的压缩方案来说，通常需要手动指定具体的压缩率，对于神经网络来说，每一层的稀疏敏感度不同，因此现有技术中使用固定的压缩率比较难以达到较佳的压缩效果。

因此，需要一种能够快速确定压缩率参数以提高压缩效果的技术方案。

发明内容

本申请实施例提供一种数据处理方法及装置、电子设备和计算机可读存储介质，以解决现有技术中使用固定的压缩率难以达到较佳压缩效果的缺陷。

为达到上述目的，本申请实施例提供了一种数据处理方法，包括：

获取压缩参数的初始值以及与所述初始值对应的模型精度值，其中，所述模型精度值为采用所述压缩参数的初始值压缩后的目标模型的计算精度；

比较所述模型精度值与原始精度值的大小，并根据比较结果，调整所述压缩参数的数值，其中，所述原始精度值为压缩前的所述目标模型的计算精度；

输出所述压缩参数的调整后的数值。

进一步地，根据本申请实施例，本申请的数据处理方法中，调整压缩参数的数值可以包括：将压缩参数的数值减小为三分之一。

进一步地，根据本申请实施例，本申请的数据处理方法中，压缩参数的数值的增加和减小可以是非对称的。

进一步地，根据本申请实施例，本申请的数据处理方法中，根据比较结果，调整压缩参数的数值可以包括：当模型精度值大于或等于原始精度值时，将压缩参数的数值加倍，并且当模型精度值小于原始精度值时，将压缩参数的数值减小为三分之一。

进一步地，根据本申请实施例，本申请的数据处理方法中，采用ADMM方案对目标模型执行压缩处理，并且压缩处理可以进一步包括：对目标模型的当前网络层进行压缩处理时，将当前网络层的关联层的剩余参数量作为ADMM的新增约束，其中关联层的剩余参数量可以指该关联层在被压缩后所剩余的参数的数量，并且，当前网络层的关联层可以为当前层的前层和/或后层。