[发明专利]数据处理方法及其电子设备和介质

说明书

本申请涉及人工智能领域，涉及一种数据处理方法及其电子设备和介质，方法包括：获取对第一神经网络模型的模型参数进行量化的第一输入数据集；从第一输入数据集中筛选出满足第一条件的数据组成第二输入数据集；基于调节系数对第二输入数据集中的数据进行调整得到第三输入数据集；使用第三输入数据集对第一神经网络模型的模型参数进行量化，得到第二神经网络模型。确定出的第三输入数据集的数据量小于第一输入数据集的数据量，但第三输入数据集的种类能够尽可能多地覆盖第一输入数据集的种类，使得对神经网络模型进行量化所消耗的时间较少，且保持了通过量化后的神经网络模型的精度。

技术领域

本申请涉及人工智能领域，特别涉及一种数据处理方法及其电子设备和介质。

背景技术

在人工智能领域中，对于训练完成的神经网络模型来说，需要对神经网络模型进行量化后才能部署运行。如图1所示，这里的量化是指确定神经网络模型100的各数据处理层的模型参数，也就是，调整训练完成的神经网络模型的权值，激活值等等模型参数的数值范围，节省神经网络模型的存储空间，例如：将神经网络模型的模型参数从高精度(原始的数值范围)转化成低精度(量化后的数值范围)。

通常会使用较大的输入数据(验证数据集)对训练完成的神经网络模型进行量化以确保量化后的神经网络模型的精度，但是较大的验证数据集也会增加对神经网络模型进行量化的耗时。例如：较大的数据集中，许多样本数据的特征之间存在相关性，增加了量化的复杂性。因此，需要找到一种减少量化的耗时，又能够尽量保持量化的精度的方法。

发明内容

有鉴于此，本申请实施例提供一种数据处理方法、介质和电子设备。

本申请的第一方面提供了一种数据处理方法，包括：

获取对第一神经网络模型的模型参数进行量化的第一输入数据集；

从第一输入数据集中筛选出满足第一条件的数据组成第二输入数据集，其中，第一条件包括：第二输入数据集中的各数据，与第一输入数据集中的多个数据之间的数据相关性小于第一相关性阈值；

基于调节系数对第二输入数据集中的数据进行调整得到第三输入数据集，其中，调节系数是第一输入数据集中的数据，并且调节系数与第二输入数据集中的数据的相关性满足第二条件；

使用第三输入数据集对第一神经网络模型的模型参数进行量化，得到第二神经网络模型。

在本申请中，这里的第一神经网络模型可以是训练完成的但尚未量化完成的神经网络模型。第一输入数据集可以是验证数据集，也就是，服务器用于对训练完成的神经网络模型进行量化时使用的输入数据。第二输入数据集可以是验证数据集，可以是用于对训练后的神经网络模型的模型参数进行量化的验证数据。这里的校准数据集中的校准数据的数据总量小于验证数据集中的验证数据的数据总量，且每一个校准数据与所有的验证数据之间的相关性小于第一相关性阈值。相关性小于第一相关性阈值表示筛选出的校准数据与验证数据之间的相关性越小，校准数据集能够表示的事物(例如：图像中的物体)的种类越多，校准数据集越具有泛性，实现从验证数据到校准数据的分类。这里的第三输入数据集可以是叠加了验证数据集中的调节系数的特征的校准数据集。调节系数可以是与校准数据集中的校准数据之间的相关性满足第二相关性阈值的验证数据，表示调节系数与校准数据属于同一个种类。这里的第二神经网络模型可以是量化完成的神经网络模型。

可以看出，尽管确定出的校准数据集的数据量小于验证数据集的数据量，但校准数据集中校准数据的种类能够尽可能多地覆盖验证数据集中验证数据的种类，使得通过校准数据集对神经网络模型进行量化所消耗的时间较少，同时，将验证数据集中与校准数据之间的相关的验证数据对应的特征叠加至校准数据集中的校准数据后，使得校准数据能够包括更多相同种类的验证数据的特征，即，能够包括更多的未加入校准数据集中的验证数据的特征，使得校准数据集包括的特征能够更加接近验证数据集，保持了通过使用校准数据集量化后的神经网络模型的精度。