[发明专利]一种基于分类的数据标准化方法

说明书

本发明提供一种基于分类模型的数据标准化方法。首先，采用机器学习中典型的分类算法构建分类模型库；然后,选取不同的分类模型对这组新数据集分别进行分类和预测；最后根据不同数据集特点采取不同的数据标准化方法。本发明提供并实施了一种机遇分类模型的数据标准化方法，在实际应用中可以有针对性地选择合理的分类模型，对于数据标准化方法研究具有指导意义。

技术领域

本发明属于数据挖掘和机器学习领域,涉及一种基于分类模型的数据标准化方法。

背景技术

分类是数据挖掘过程中的一项非常重要的任务，利用分类技术可以从数据集中提取描述数据类的一个函数或模型(也常称为分类器)，并把数据集中的每个对象归结到某个已知的对象类中。从机器学习的观点，分类技术是一种有指导的学习，即每个训练样本的数据对象已经有类标识，通过学习可以形成表达数据对象与类标识间对应的知识，进而也可以预测未来数据的归类。在进行数据标准化过程中，针对不同种类的数据其标准化方法根据不同数据类型也有着不同的处理。在经过分类后，可以根据每一类别的数据的特点采取对应的标准化方法，对海量数据标准化计算提供帮助，对数据分类和数据标准化研究具有指导意义。

发明内容

为研究大数据标准化方法，本发明提供一种基于分类模型的数据标准化方法。首先，采用机器学习中典型的分类算法构建分类模型库；然后,选取不同的分类模型对这组新数据集分别进行分类和预测；最后根据不同数据集特点采取不同的数据标准化方法。

为了达成上述目的,本发明提供一种基于分类模型的数据标准化方法。具体步骤如下：

(1)分类模型库构建,采用机器学习中典型的分类算法来构建分类模型库,包括C4.5、K近邻、朴素贝叶斯和RIPPER四种基本模型,其中C4.5是一种典型的决策树算法,而RIPPER是一种基于规则的分类方法,同时还包括AdaBoost和Bagging两种集成模型。初始化分类模型并对各模型的运行参数进行设置。特别地,该分类模型库并不仅包含以上6种分类

模型,其具有可更新性,可实现分类模型的增加、修改和删除等功能。

(2)分类模型对数据集进行预测。在步骤(1)中的分类模型库中选取待评价的分类模型,并将每个数据集D分别进行分类和预测,并采用AUC(Area Under the Curve)指标来评价各个分类模型的预测结果,从而得到一组AUC值,记为集S＝{AUC_i},i＝1,2,...,r。其中,AUC指标是评价分类模型性能的最常用指标,AUC值越大,说明该分类模型的性能越好,预测结果也越准确。为了降低数据集构造带来的随机误差，集合S中每个AUC取100次重复实验的平均值。

(3)数据标准化方法。根据步骤(2)得到的结果，对于在(0,1)之间的数据集采用反正切函数，对于不断有新数据加入的集合，采用极差标准化；对于最大值最小值未知的集合使用z-score标准化；对于分散程度较高的集合采用倒数一致化标准化；对于文本信息则适用统一格式。

说明：z-score标准化方法是基于原始数据的均值(mean)和标准差(standarddeviation)进行数据的标准化。

C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法，即通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。。

K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例(也就是上面所说的K个邻居)，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，即假定给定目标值时属性之间相互条件独立，也就是说没有哪个属性变量对于决策结果来说占有着较大的比重，也没有哪个属性变量对于决策结果占有着较小的比重。