[发明专利]模型训练方法、客服系统及数据标注系统、可读存储介质

说明书

本发明提供一种模型训练方法，包括以下步骤：将同一标注数据集作为不同分类模型的训练数据集，对不同分类模型进行训练；基于训练后的分类模型，对未标注数据集中的预测样本进行预测，得到预测结果；获取预测结果的置信度，将预测样本标记为高置信度预测样本或者低置信度预测样本；将在各分类模型中均被标记为高置信度预测样本的预测样本添加到其它分类模型的训练数据集；以及，基于新的训练数据集，进行预设轮次的迭代训练，并得到多次迭代训练后的分类模型。本发明还提供了一种客服系统及数据标注系统、可读存储介质。本发明解决现有分类模型所需标记数据的获取成本高、分类模型质量偏低，进而导致客服系统应答质量差的技术问题。

技术领域

本发明涉及数据处理领域，尤其涉及一种模型训练方法、客服系统及数据标注系统、可读存储介质。

背景技术

在现有客服系统中，很多模块都需要使用不同的分类模型。需要用到分类模型的模块包括：问句分类，问句歧义判断，情感分析等。而常用的分类模型众多，从逻辑回归，到SVM(Support Vector Machine,即支持向量机)，XGBoost(eXtreme Gradient Boosting，即极端梯度提升)，FastText(浅层网络)，到深度学习中的LSTM(Long Short-Term Memory,即长短期记忆网络)，CNN(Convolutional Neural NetWork,即卷积神经网络)，RNN((Recurrent Neural Network，即循环神经网络)均被广泛应用于各种分类任务。

这些分类模型往往采用传统的监督学习，需要大量的标记数据作为训练集进行模型训练，并通过已训练的模型对未标记数据进行预测或分类。

然而，在现实中由于主要依靠人工对数据进行逐一标注，导致标记数据较为稀缺、成本较高、耗时较长。现有也有人尝试采用模型进行机器自动标注。但是，此类自动化标注方式的数据标注正确率受限于模型预测的正确率，即在保证模型具备高预测正确率的前提下才会标注出质量较高的数据。与此同时，标注数据的目的往往是用于继续训练模型从而提高模型的正确率，而此类自动化标注方式往往难以提升模型预测的正确率。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种模型训练方法、客服系统及数据标注系统、可读存储介质，旨在解决现有分类模型所需标记数据的获取成本高、分类模型质量偏低，进而导致客服系统应答质量差的技术问题。

为实现上述目的，本发明提供一种模型训练方法，所述方法包括以下步骤：

S10，将同一标注数据集作为不同分类模型的训练数据集；

S20，基于所述训练数据集，对不同分类模型进行训练；

S30，基于训练后得到的分类模型，对未标注数据集中的预测样本进行预测，得到预测结果；

S40，获取所述预测结果的置信度，并根据预测结果的置信度将预测样本标记为高置信度预测样本或者低置信度预测样本；

S50，将在各分类模型中均被标记为高置信度预测样本的预测样本添加到其它分类模型的训练数据集；

以及，基于新的训练数据集，进行预设轮次的步骤S20至S50的迭代训练，并得到多次迭代训练后的分类模型。

优选地，当分类模型的数量为两个时，所述根据预测样本的置信度将预测样本分类为高置信度预测样本的步骤之后，还包括：

判断所述预测样本是否在各分类模型中均被标记为所述高置信度预测样本；

若是，则获取所述预测样本的分类信息；其中，预测样本的所述分类信息分别与不同分类模型对应；

比较与各分类模型对应的分类信息是否一致；