[发明专利]一种大数据样本的智能化模糊特征选择方法

说明书

本发明公开一种大数据样本的智能化模糊特征选择方法，涉及大数据样本预处理中的特征工程领域，具体方案为：包括以下步骤：S1：特征选择步骤转换为计算模糊特征选择向量W(W₁，W₂，W₃…，W_i，…，W_n)，其中每一个W_i取值在[0,1]区间，取0时表示第i项特征舍去，取1时表示第i项特征选择；S2：针对每一个样本的特征X_i，换算公式添加取舍度向量Y(Y₁,Y₂,Y₃,…,Y_i,…,Y_n)，每个分量Y_i∈[0，1]；S3：W_i与Y_i对比，分为两个区间，在两个区间范围内分别选取W_i为0或为1；S4：得到每个特征计算结果，进行每个特征的提取或舍去。本发明采用粒子群优化算法学习特征权重向量，为大数据样本特征提供一种智能化模糊特征选择方法。

技术领域

本发明涉及大数据样本预处理中的特征工程领域，更具体地说，它涉及一种大数据样本的智能化模糊特征选择方法。

背景技术

机器学习是当前处理大数据的重要技术，是目前实现人工智能的最好途径。数据的预处理是大数据机器学习前期的重要工作，预处理的质量效果直接影响着机器学习系统的性能。特征选择是数据预处理中的最常用的方法，它通过一些优化规则确定某个特征是否选择。所以特征选择可以看成是学习一个n维向量W(W₁,W₂,W₃,…,W_i,…,W_n)，其中每一个W_i取值为0或1，取0时表示第i项特征舍去，取1则表示选择。我们称这种特征选择称为逻辑型特征选择方法。

常见的特征选择方法主要有三类：过滤式、包裹式和嵌入式。过滤式特征选择先对数据集进行特征选择，其后再训练学习器，特征选择过程与后续的学习器无关；Relief是过滤式特征选择的典型方法，该方法设计采用相关统计量来度量特征的重要性，相关统计量通过采样计算，是一种运行效率很高的特征选择方法。包裹式特征选择把最终将要使用的学习器性能作为特征子集的评价准则，在特征选择过程中需要多次训练学习器，计算开销远比过滤式大；LVM(Las Vegas Yrapper)是包裹式特征选择的典型方法。嵌入式特征选择是将特征选择过程与学习器训练过程融合在同一个优化过程中完成；LARS(Least AngleRegression)是一种嵌入式特征选择方法，采用线性回归平方误差最小化方法，每次选择一个与残差相关性最大的特征，该方法能显著降低过拟合的风险。

逻辑型特征选择方法能简单明了地表明大数据样本特征的重要与否，可以显著降低特征维度，提高计算效率。但是对于选中的特征，每一个的重要程度是不一样的；对于舍去的特征，是否存在某些组合构成复合式特征，这样的特征有一定的价值。

发明内容

为解决上述技术问题，本发明的目的一种大数据样本的智能化模糊特征选择方法，使用智能计算方法处理大数据样本的特征工程，该方法把特征选择看成是学习一个n维向量W(W₁，W₂，W₃…，W_i，…，W_n)，其中每一个W_i取值在区间[0，1]，利用取舍度，选择性对每一个W_i进行判定，取0时表示第i项特征舍去，取1则表示选择，这种方法可以看作为特征选择的拓展形式。特征选择的有效性已经通过若干研究得到论证，所以基于特征选择扩展的模糊特征选择方法可行性已经得到证明。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种大数据样本的智能化模糊特征选择方法，包括以下步骤：