[发明专利]基于噪声扰动的测试数据预测方法

说明书

技术领域

本发明涉及计算机应用领域，尤其涉及一种基于噪声扰动的测试数据预测方法。

背景技术

人工特征噪声扰动方法（artificial feature noising methods）是将有限的训练数据按照已知的扰动分布生成一系列扰动数据，扩充为无限个扰动后的训练数据进行训练的方法。在许多扰动方法中，dropout扰动是一种非常有效的控制过拟合的训练方法。Dropout扰动的核心思想是在每一步迭代训练过程中，随机丢弃一些特征，从而生成一系列特征数目较少的样本，在这种扰动后的数据上进行模型学习。由于扰动后的训练数据集规模太大，对模型的时间复杂度提出了很高的要求，因此很不实用。常用的噪声扰动模型学习方法是采用平均化的思想，最小化模型损失函数关于噪声扰动分布的期望，最近许多工作从自适应正则化的角度为这种方法提供了理论上的理解，例如S.Wager等人提出的“Dropout training as adaptive regularization”,Advances in Neural Information Processing Systems (2013)，并且这种方法在多种应用问题如文本分类（例如van der Maaten等人提出的“Learning with marginalized corrupted features”，International Conference on Machine Learning(2013）)、实体识别（例如S.Wang等人提出的“Fast dropout training”，International Conference on Machine Learning(2013））、图像分类（例如S.Wang等人提出的“Feature noising for log-linear structured prediction”，Empirical Methods in Natural Language Processing（2013））等方面都有很有很不错的结果，这从近年来的多篇论文中可以得到印证。

噪声扰动模型学习方法的关键区别是不同损失函数的选取。之前有一些工作已经研究了二次损失函数、经典罗杰斯特损失函数、或者从一个广义线性模型（Generalized linear models,GLM）中推导得到的罗杰斯特损失函数。但是调研中发现，几乎没有噪声扰动模型方法是基于最大间隔的铰链损失函数的，而众所周知，基于铰链损失函数的最大间隔学习方法非常适于分类预测任务。基于铰链损失函数的噪声扰动方法的最大难点在于铰链损失函数中的max函数的非平滑性，使得直接计算或者近似铰链损失函数在扰动分布下的期望变得非常困难。已有的方法并不能直接解决这个难题，因此需要诉诸于新的方法。

发明内容

本发明所要解决的技术问题是现有的噪声扰动模型中无法使用铰链损失函数以及罗杰斯特损失函数以获得较精确的预测模型参数。

为此目的，本发明提出了一种基于噪声扰动的测试数据预测方法，包括以下步骤：

S1、对测试数据进行预处理，提取所述测试数据的特征并进行归一化处理；

S2、根据所述测试数据的特征建立用以对测试数据进行预测的预测模型；

S3、对所述预测模型进行参数求解；

S4、利用求解后的所述预测模型对测试数据进行预测；

其中，步骤S3包括：

S3.1、选取所述预测模型的损失函数，将最小化所述预测模型的损失函数的期望设置为目标函数；

S3.2、计算所述损失函数的变分上界；

S3.3、基于所述损失函数的变分上界，优化所述目标函数；

S3.4、使用迭代复加权最小二乘法以求解目标函数。

优选的，步骤S3.2中使用数据增广的方法得出所述损失函数的变分上界。

优选的，步骤S3.2中使用数据增广的方法以获取所述响应变量的伪似然函数，并根据所述伪似然函数获取所述损失函数的变分上界。

优选的，步骤S3.1中的损失函数为铰链损失函数，所述目标函数为最小化所述预测模型的铰链损失函数的期望。

优选的，步骤S3.4进一步包括：

对于低维的数据，用矩阵求逆的方式来得到所述预测模型参数的解；对于高维的数据，用数值求解方法以得到所述预测模型参数的解。

优选的，步骤S3.1中的损失函数为铰链损失函数，步骤S3.2中铰链损失函数期望的变分上界通过所述伪似然函数及杰森不等式得到。