[发明专利]神经网络模型预测方法、装置和终端

说明书

本发明提出一种神经网络模型预测方法、装置和终端，包括：在神经网络模型中构建多条输出支路；将特征数据输入至神经网络模型中，选择至少一条输出支路输出预测分数；根据输出支路输出的预测分数进行计算，输出最终预测结果。对神经网络模型的结构进行修改，构建多条输出支路，所有输出支路都共享同一个循环神经网络(RNN，Recurrent Neural Network)或深度神经网络(DNN，Deep Neural Networks)结构，无需同时训练多个结构相同的神经网络模型，大幅降低对性能的要求。此外，可以尽量增大输出支路的数量，输出支路的数量与神经网络模型的稳定性呈正相关关系，因此，不需要在调参上花费过多的精力。

技术领域

本发明涉及神经网络技术领域，具体涉及一种神经网络模型预测方法、装置和终端。

背景技术

在机器学习或统计学习模型中，常常需要考虑算法的稳定性，即算法对于数据扰动的鲁棒性。如果一个算法在输入值发生微小变化时就产生巨大的输出变化，那么这个算法是不稳定的。在工业界上，本领域技术人员不仅追求模型的高准确率以及高精度，更在意一个模型是否稳定。模型的泛化误差由误差(Bias)和方差(Variance)共同决定，而高方差是模型不稳定性的罪魁祸首。

机器学习中的决策树(Decision Tree)算法的自身性质决定了就是一种不稳定的模型，因此，训练数据中的微小变化就可以改变决策树的结构。目前，解决上述问题的是集成学习(Ensemble Learning)，通过降低自举汇聚法(Bagging，bootstrap aggregating)方差的方法来增强其稳定性。然而，集成学习中的Bagging要求用多个由不同小数据集训练得到模型，然后，集成所有模型的结果得到对预测样本的预测分数。这种多个模型集成的方法会面临性能差的问题，在内存和预测时间上都不利于扩展。

神经网络中的批量学习(Batch Learning)也是一种不稳定的算法。目前，在训练神经网络的时候，并不是每一轮都遍历完所有的样本，也不是每遍历完一个样本就更新模型参数，而是让模型批量地学习训练数据。因此，应当小心地选择批量尺寸(Batch Size)和对应的学习率(Learning Rate)，避免错误的批量尺寸和学习率导致不稳定的学习过程。然而，小批量样本中的高方差(High Variance)会导致模型的更新梯度(Gradient)不精确。这种情况下，应该使用较小的学习率，防止模型更新的太快。相反的情况，当在选择较大的批量尺寸时，可以选择较大的学习率。控制批量学习中的批量尺寸和学习率，他们之间的对应关系并无公式说明，需要进行大量的调参工作，效率低下。

发明内容

本发明实施例提供神经网络模型预测方法、装置和终端，以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种神经网络模型预测方法，包括：

在神经网络模型中构建多条输出支路；

将特征数据输入至神经网络模型中，选择至少一条所述输出支路输出预测分数；

根据所述输出支路输出的预测分数进行计算，输出最终预测结果。

在一种实施方式中，在神经网络模型中构建多条输出支路，包括：

在所述神经网络模型中的输出层与全连接层之间构建遮罩层，所述遮罩层包括多个遮罩值，一个所述遮罩值对应一个所述输出支路。

在一种实施方式中，在所述神经网络模型中的输出层与全连接层之间构建遮罩层之后，还包括：

当所述遮罩值为第一定值时，允许所述预测分数沿对应的输出支路前向传播或后向传播；

当所述遮罩值为第二定值时，禁止所述预测分数沿对应的输出支路前向传播或后向传播，所述第一定值和所述第二定值不同。

在一种实施方式中，选择至少一条所述输出支路输出预测分数，包括：