[发明专利]学习模型优化与选择方法、电子装置及计算机设备

说明书

本发明公开了一种学习模型优化与选择方法，包括：计算收集的脱敏数据以生成多个质检模型并进行预测而得到质检结果并进行复核；将复核后的质检结果作为验证集并加入训练以计算准确率与召回率；当准确率与召回率达到阈值时，保存多个质检模型并将学习率减去固定值，使多个质检模型在特定参数范围内调整；当准确率大于阈值时，或者当准确率不大于阈值且召回率大于阈值，将学习率减去固定值；及当准确率与召回率皆不大于阈值，将学习率调回初始值。本发明提供的学习模型优化与选择方法与电子装置使模型训练人员更加直观的了解模型可能的效果，而参数调优方法使得模型能够比较快速的得到较为准确、稳定的中间模型，从而使得项目能够快速投产。

技术领域

本发明涉及大数据引擎之样本处理的技术领域，尤其涉及一种学习模型优化与选择方法、电子装置、计算机设备及存储介质。

背景技术

在文本质检系统中，在利用深度学习进行文本质检时，模型参数调优与模型选择方法非常重要。然而，传统的模型选择方法挑选出的模型无法保障准确率与召回率，而传统的参数调优方法主要是固定学习率或者使用学习率固定步数衰减，造成难以获得效果较好的质检模型。

发明内容

有鉴于此，本发明提出一种学习模型优化与选择方法，使模型训练人员更加直观的了解到了模型可能的效果，而配套的参数调优方法使得模型能够比较快速的得到较为准确、稳定的中间模型，从而使得项目能够快速投产。

为实现上述目的，本发明提出一种学习模型优化与选择方法，应用于电子装置中，该方法包括步骤：

在训练模型时，在生产数据中收集固定时间周期内的脱敏数据；

通过多个算法对所述脱敏数据进行计算以生成多个不同类型的质检模型；

利用所述多个质检模型进行预测，可得到所述多个质检模型的多个质检结果，并对所述多个质检结果复核；

将复核后的所述多个质检结果作为验证集，并将所述验证集加入训练中，每步完成后进行验证，以计算准确率与召回率；

设置所述准确率的阈值A与所述召回率的阈值B，並从学习率的初始值始训练；

当所述准确率达到所述阈值A与所述召回率达到所述阈值B时，则保存所述多个质检模型并将所述学习率减去固定值，使所述多个质检模型在特定参数范围内调整；

判断所述准确率是否小于所述阈值A和所述召回率是否小于所述阈值B；

当所述准确率大于所述阈值A时，或者当所述准确率不大于所述阈值且所述召回率大于所述阈值B，则将所述学习率减去所述固定值；及

当所述准确率不大于所述阈值A且所述召回率不大于所述阈值B，则将所述学习率调回所述初始值。

进一步地，所述多个算法至少包括BILSTM RNN+Attention、BiLSTM RNN、LSTM RNN与Text CNN，且所述多个质检模型至少包括BI-LSTM(双向长短时记忆)RNN(循环神经网络)模型与BI-LSTM Attention模型。

进一步地，所述多个质检模型在训练过程中保存多个模型文件，所述多个模型文件为所述质检模型之文件内部保存的多个参数。

进一步地，所述多个参数保存在一个后缀为(.pb)的文件中。

进一步地，所述准确率＝正确预测违规的消息数/(所述正确预测违规的消息数+错误预测违规的消息数)，及所述召回率＝所述正确预测违规的消息数/所述验证集中实际违规的消息数。

为实现上述目的，本发明提出一种电子装置，包括数据收集模块、模型生成模块、预测模块、计算模块、设定模块与判断与调整模块。

所述数据收集模块在生产数据中收集固定时间周期内的脱敏数据。