[发明专利]一种基于噪音数据的机器学习模型鲁棒性评估方法

说明书

本发明提供的是一种基于噪音数据的机器学习模型鲁棒性评估方法，包括原始数据集处理、噪音数据获取、模型训练、模型预测、准确率下降比计算和模型鲁棒性评估。原始数据集处理包括收集百分百标签正确的原始数据集，并采用10次10‑折交叉验证划分原始训练集和原始测试集。噪音数据获取包括在原始训练集的基础上，采用分层抽样方法抽取t′＝|D|·α个数据，并将其标签替换为错误标签，其中α为噪音数据率。模型训练包括基于常见分类算法，并分别输入原始训练集和混有噪音数据的训练集分别构建原始模型和新模型。模型预测包括基于原始测试集，对这原始模型和新模型分别进行准确度评估。准确率下降比计算包括计算新模型较原始模型而言准确率下降的比率。模型鲁棒性评估包括横纵向比较准确率下降的比率的大小，衡量模型鲁棒性强弱，实现了判断模型健壮性的标准。

技术领域

本发明属于机器学习应用领域，特别是涉及到对模型鲁棒性评估。我们通过衡量噪音数据对模型的影响大小，评估了模型的鲁棒性。

背景技术

机器学习是人工智能研究的重要分支，通过组织和拟合参数，进行学习特征的表示。因其较高的泛化能力和效率，被越来越广泛的应用在学术界和工业界。按其学习形式可分为：监督学习，无监督学习和半监督学习。其中，监督学习是机器学习的重要方面，它是已知数据和其对应的标签，训练一个智能算法，将输入数据映射到标签的过程。监督学习问题的数据由输入X和输出标签Y构成，然而有很多输出标签Y是错的。对于标记错误的数据，可能存在于训练集、开发集或者测试集上。

机器学习模型对于训练数据是敏感的，相同结构模型由于训练数据的不同在结果上会存在一定的误差。训练集(training set)误差的主要原因包括做标记的人不小心错误，或按错分类键等随机误差，又或者是做标记的人理解错误导致一直分错类别这样的系统误差。其中，如果是系统误差，则模型无法识别；如果是随机误差，则模型有可能不会因为这些随机误差有很大的变化。变化的大小衡量了模型鲁棒性的强弱，变化越小，则模型的鲁棒性越强。与训练集相比，模型受验证集(validation set)或测试集(testing set)中标记出错的数据影响更大，当分类器的输出和开发集的标签不一致时，有时是因为标签错误，而不是分类器错。如果这些标记错误，严重影响了在开发集上评估算法的能力，而修正错误的标签要花费较高的成本。在实践应用中，多数人只会关注保证验证集和测试集中的标签的准确性，而忽略训练集中的标签。原因主要是验证集和测试集通常比训练集小得多，成本较低；同时，由于模型的具有一定的泛化能力，训练集中存在少量的错误标签对模型的影响相对较小。

由此可见，模型的鲁棒性是衡量一个模型优劣的重要评价指标。目前流行的模型评价指标如精确度、召回率、准确度等多数关注于对正确数据的预测能力，然而在实际应用中，标记错误的数据(噪音数据)是普遍而不可避免的，高质量的模型应该能泛化这种随机误差，并不受异常数据的影响。因此，本文提出了一种基于噪音数据衡量模型鲁棒性的方法，通过引入噪音数据来评估模型的泛化能力，更加全面的对模型做出评价。

发明内容

数据科学社区Kaggle的最新调查显示，机器学习和数据科学研究者在被问到工作中面临的最大障碍时，最常见的回答是“噪音数据”。作为基于大量数据训练的机器学习，对数据质量的要求极高。现代的人工智能系统一般都是通过大量的样本的特征来学习的，属于上述的监督学习，以分类场景为例，即提取样本的特征信息，并给定对应的标签，通过具体的机器学习算法来学习对应输入特征和输出标签的映射关系。如果数据存在错误的标签标记时，系统将会误将对应特征的图片识别为错误输入。当噪音数据在训练集中的比重小于一定阈值时，若模型的鲁棒性足够高，其会忽略这些“异常”(标签错误)的点，依旧拟合于“正常”(标签正确)的点。但当噪音数据的比重大于一定阈值时，模型将会“颠倒黑白”，输出错误预测结果。

实际应用中，噪音数据是不可避免的，这就要求我们的模型具有强健的鲁棒性。其中，评价模型的常见指标如精度、召回率、准确度等都是衡量模型预测性能的基准，而衡量模型对训练数据质量容忍程度的指标却没有被定义过。因此本文通过在训练集中引入噪音数据来衡量模型的鲁棒性，以构建更健壮的模型。