[发明专利]一种特征选择方法、装置及计算机系统

说明书

本申请公开了一种特征选择方法、装置及计算机系统，其中所述方法包括：利用第一预设模型对输入的待处理数据集进行预测，生成第一预测结果及第一重要性评价；利用第二预设模型对所述待处理数据集进行预测，生成第二预测结果及第二重要性评价；利用第三预设模型根据所述第一预测结果及所述第二预测结果，生成第一预设模型对应的第一权重及第二预设模型对应的第二权重；根据第一权重、第一重要性评价、第二权重及第二重要性评价，确定每一特征对应的特征重要性；确定对应的特征重要性满足预设条件的所述特征为目标特征，保证了特征选择的精度，节省了相应的人力及时间成本，且避免了直接使用高维特征进行模型训练对算力及调参带来的巨大压力。

技术领域

本发明涉及机器学习算法领域，尤其涉及一种特征选择方法、装置及计算机系统。

背景技术

在机器学习建模过程中，为了提高模型性能(如运行速度、区分能力以及解释性等)，我们往往需要对入模的特征进行筛选，以实现数据降维。业内通常的做法是，由技术人员进行根据特征的缺失率、相关性、信息价值(IV)等参数进行人工初选，当特征维度降低到一定程度之后再使用各种机器学习模型进行细选。不直接使用模型进行特征筛选的主要原因是如果直接利用机器学习模型对原始数据和特征进行运算，会导致巨大的计算压力和调参压力，且并非特征越多模型的性能就越好。

然而，业内惯用的初选+模型细选的特征选择过程非常耗时且夹杂着很多主观判断。首先，在进行特征初选的时候，通常的做法是删除具有高空值率的特征、具有高相关性的特征以及具有低方差的特征等特征来降低特征维度。然而在删除的过程中存在着许多问题，例如多高的相关性判断为过高、多低的方差判断为过低、多高的空值率判断为过高、对多个高相关的特征应该删除哪一个等。这些问题的判断都存在很大的主观性，即使模型的开发人员具备很强的业务背景，依据开发人员主观判断选择出的最佳特征也往往倾向于随机，而这会给下一步的利用模型选择造成一定影响。

而利用模型进行特征选择的通常做法是进行递归特征消除：不断训练模型，每次将特征重要性最低的特征删除，直到满足规定的条件。这是针对寻找最优特征组合的贪心算法，需要多次训练模型，如果初选没有做出合适选择，那么该模型选择特征过程就不太可能有较好的表现，且在高维特征下，多次的模型训练需要消耗极大的算力。

发明内容

为了解决现有技术的不足，本发明的主要目的在于提供一种特征选择方法、装置及计算机系统。

为了达到上述目的，第一方面本发明提供了一种特征选择方法，包括：

利用第一预设模型对输入的待处理数据集进行预测，生成第一预测结果及所述第一预设模型对所述待处理数据集包含的特征的第一重要性评价，所述预测结果包括预测的所述待处理数据集包含的样本所属的分类；

利用第二预设模型对所述待处理数据集进行预测，生成第二预测结果及所述第二预设模型对所述特征的第二重要性评价；

利用第三预设模型根据所述第一预测结果及所述第二预测结果，生成所述第一预设模型对应的第一权重及所述第二预设模型对应的第二权重；

根据所述第一权重、所述第一重要性评价、所述第二权重及所述第二重要性评价，确定每一所述特征对应的特征重要性；

确定对应的特征重要性满足预设条件的所述特征为目标特征。

在一些实施例中，所述第一预设模型、所述第二预设模型包括自适应提升模型及随机森林模型。

在一些实施例中，所述第三预设模型包括逻辑回归模型。

在一些实施例中，所述方法包括：

剔除所述待处理数据集中除所述目标特征以外的特征，生成目标数据集；

利用第四预设模型对所述目标数据集进行预测，生成目标预测结果，所述第四预设模型包括所述第一预设模型及所述第二预设模型。