[发明专利]神经网络模型之在线增量更新方法、装置、系统及存储介质

说明书

本发明涉及神经网络模型之在线增量更新方法、装置、系统及存储介质，其针对每一个增量数据，通过对原始训练数据集进行采样，合并构建为一个样本均衡的批次，对神经网络模型进行训练和更新。本发明既能对增量数据进行学习，又实现了类似记忆库回放的功能，从过往训练数据中随机采样数据参与更新过程中的训练，就能够保留住神经网络模型原本的功能，并对神经网络模型存在的缺陷进行自我更新和完善。

技术领域

本发明涉及深度学习技术领域，具体涉及神经网络模型之在线增量更新方法、装置、系统及存储介质。

背景技术

常规的神经网络，在线运行的过程中，必将产生一些由于模型训练的缺陷导致判断错误的数据，称之为增量数据。如图1所示，针对在神经网络运行期间产生的增量数据，当前只能通过定期重启整套模型的训练，并把这部分数据与原有训练集进行合并，才能更新整个网络，极度耗费时间和资源。目前的神经网络并不支持在线增量更新（在不中断当前模型判断任务的前提下）。

如果只让神经网络在线更新并训练增量数据，由于增量数据的样本不均衡（只有模型缺陷的部分），必将导致模型对增量数据过拟合，从而令模型失去其原有功能，变成一个指哪打哪的机器而非人工智能，永远有训练不尽的增量数据。过拟合over-fitting：机器学习模型的训练误差远小于其在测试数据集上的误差，即泛化能力差。

鉴于此，本发明人针对上述存在的问题进行深入构思，遂产生本案。

发明内容

本发明的目的在于提供一种神经网络模型之在线增量更新方法、装置、系统及存储介质，以实现神经网络模型在保留其原有功能的前提下，不用重启全套训练，就能完成对增量数据的训练和更新。

为实现上述目的，本发明采用的技术方案为：

神经网络模型之在线增量更新方法，其包括以下步骤：

步骤1、神经网络模型产生误判数据，形成增量数据；

步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样，将得到的训练数据与增量数据构建为一个样本均衡的批次，将其作为神经网络模型的更新训练数据集；

步骤3、采用更新训练数据集对神经网络模型进行在线训练，训练结束后，若神经网络模型对增量数据未能掌握，无法做出正确的判断，重复步骤2，直至神经网络模型能够对增量数据做出正确的判断。

所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A₁,A₂,…,A_N}，所述更新训练数据集包括N个类型的样本训练数据集{B₁,B₂,…,B_N}，其中，N≥2；样本训练数据集{B₁,B₂,…,B_N}与样本训练数据集{A₁,A₂,…,A_N}的类型相同，且一一对应；

当所述增量数据类型与样本训练数据集A_i的类型相同时，该增量数据与M-1个从样本训练数据集A_i中随机采样得到的样本数据共同形成样本数据集B_i，即样本数据集B_i包括1个增量数据和M-1个从样本训练数据集A_i中随机采样得到的样本数据；其他样本训练数据集B_j则包括M个从样本训练集A_j中随机采样得到的样本数据，其中，i和j为1-N中的一个值，且i≠j。

神经网络模型之在线增量更新装置，其包括

更新训练数据集构建模块，用于在形成增量数据时，从神经网络模型的原始训练数据集中进行有放回的随机采样，并将采样得到的训练数据与增量数据结合形成更新训练数据集；