[发明专利]数据标注的优化方法、装置、存储介质和电子设备

权利要求书

1.一种数据标注的优化方法，其特征在于，包括：

获取第一样本集和第一标注集，所述第一样本集中包括多个原始样本，所述第一标注集包括多个与所述原始样本对应的标注；

将所述第一样本集输入至神经网络模型中，以所述第一标注集作为监督对所述神经网络模型进行训练；

获取所述原始样本的损失数据，根据所述原始样本的损失数据确定第一问题样本；

根据所述第一问题样本确定反馈数据，并将所述反馈数据发送到客户端；

接收来自客户端的更新指令，并根据所述更新指令对所述多个原始样本对应的标注进行更新。

2.根据权利要求1所述的方法，其特征在于，所述获取所述原始样本的损失数据，根据所述原始样本的损失数据确定第一问题样本，包括：

设定第一样本集在神经网络模型中进行训练的训练轮数a，以及，所述原始样本的损失数据包括a个损失值；

设置截取参数并由该截取参数和a得到数据截取范围；

根据所述原始样本的a个损失值，确定所述原始样本的损失值的期望和方差；

根据所述原始样本的损失值的期望和方差，确定所述原始样本中是否为偏离样本；

对所述偏离样本的a个损失值进行归一化，获取归一化后所述每个偏离样本数据截取范围内所包含数据的平均值；

在所述平均值大于第二预设阈值的情况下，将所述平均值对应的所述偏离样本确定为所述第一问题样本。

3.根据权利要求2所述的方法，其特征在于，所述根据所述原始样本的损失值的期望和方差，确定所述原始样本中是否为偏离样本，包括：

确定所述原始样本的损失值中的第a个损失值，是否大于所述原始样本的期望与第一乘积的和，所述第一乘积为预设参数与所述原始样本的方差的乘积；

在所述原始样本的损失值中的第a个损失值大于所述原始样本的期望与第一乘积的和时，将所述原始样本确定为所述偏离样本。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一问题样本确定反馈数据，包括：

从所述第一样本集中剔除所述第一问题样本，获得第二样本集，并从所述第一标注集中剔除与所述第一问题样本对应的标注，获得第二标注集；

将所述第二样本集输入至所述神经网络模型中，以所述第二标注集作为监督对所述神经网络模型进行训练；

将所述第一问题样本输入至所述神经网络模型中，获得所述第一问题样本的损失数据；

在所述第一问题样本的损失数据中的损失值大于第三预设阈值时，将所述损失值对应的第一问题样本确定为第二问题样本；

将所述第一问题样本、所述第一问题样本对应的标注、所述第二问题样本和所述第一问题样本对应的标注确定为反馈数据。

5.根据权利要求4所述的方法，其特征在于，在所述将所述损失值大于第三预设阈值对应的第一问题样本确定为第二问题样本之后，所述方法包括：

将所述第二样本集和所述第一问题样本输入至神经网络模型中，以所述第二标注集和所述第一问题样本对应的标注作为监督对所述神经网络模型进行训练，获得所述第二样本集和所述第一问题样本的损失数据；

在所述第二样本集和所述第一问题样本的损失数据中的损失值大于第三预设阈值时，将所述损失值对应的样本确定为第二问题样本。

6.根据权利要求1所述的方法，其特征在于，所述将所述第一样本集输入至神经网络模型中，以所述第一标注集作为监督对所述神经网络模型进行训练之后，所述方法还包括：

在所述多个原始样本的平均损失下降程度小于第一预设阈值时，停止训练所述模型。

7.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：

将所述第一问题样本和所述第二问题样本在所述神经网络模型中的训练结果，确定为反馈数据。