[发明专利]一种基于欠采样改进的AdaBoost算法的脱贫时间预测方法

说明书

本发明公开了一种基于欠采样改进的AdaBoost算法的脱贫时间预测方法，该方法包括以下步骤：通过入库贫困户相关基本信息进行整理，提取致贫敏感信息，作为模型的输入；通过抽取贫困户的入库日期以及脱贫日期，得到贫困户从入库到脱贫所用的时间即脱贫年限，作为模型的输出；在建模过程中采用自适应聚类的近邻欠采样技术对AdaBoost算法进行改进，得到ACNUSBoost算法，通过自适应聚类算法对训练样本中的多数类样本进行聚类，针对每个簇的聚类中心保留一定比例的近邻样本作为代表性样本，随机去除部分剩余的多数类样本；并对分类器进行多次线性组合，得到基于ACNUSBoost算法的脱贫时间预测模型；本发明利用欠采样技术解决AdaBoost算法中少数类样本有限的问题，能准确进行脱贫时间的预测。

技术领域

本发明涉及大数据应用领域，尤其涉及一种基于欠采样改进的AdaBoost算法的脱贫时间预测方法。

背景技术

为实现贫困户真正全面稳定脱贫，巩固脱贫成效防止返贫现象发生，需对扶贫数据进行更深入的研究分析。当前国内研究者对扶贫数据的处理研究主要集中在对扶贫资源的信息化精确整合管理上，对于贫困户基础信息、脱贫时间及帮扶措施之间内在联系的相关研究工作，仅限于理论层面的定性分析，缺乏能够实际应用的直观量化模型，对数据内在价值的挖掘利用远远不够。基于国家扶贫攻坚末期的时政背景，结合当前IT领域最热门的深度学习技术，进行脱贫时间预测的相关研究，充分挖掘扶贫数据中包含的贫困户与政策措施的潜在联系，提高帮扶效率，改善资源配置不均衡问题；在短期内实现贫困户脱贫的同时，提高贫困户自身发展能力，有效阻止返贫现象的发生。同时也为后续扶贫工作的推进提供更有效的支持，对相关政策的制定起到一定参考作用，为国际扶贫工作的开展提供新思路。

AdaBoost算法是一种极具代表性的集成学习算法，他在串行训练基分类器的过程中使用样本权重调整策略，能够逐渐降低不平衡数据产生的偏差，更多的关注少数类别样本。而在脱贫时间预测问题中，贫困户脱贫时间类别不同，可能存在少数类别样本，同时也是预测关注的一类样本，通常普通的分类算法对该类数据难以拟合，分类结果会产生较大偏差，而AdaBoost算法能有效降低这种偏差，因此更具有适用性。脱贫时间预测的研究意义重大，单独与脱贫时间预测存在很多困难：一方面贫困户数据本身具有样本不均衡的特点，导致现有的预测方法面临列别不均衡的问题；另一方面。目前针对脱贫时间预测的相关研究很少，效果较好的AdaBoost算法任然面临少数类别样本识别率低的问题。

针对上述问题。提出了一种基于自适应聚类的近邻采样技术(ACNUS)，进一步改进AdaBoost算法，得到ACNUSBoost算法：ACNUS技术首先使用自适应聚类算法对多数类样本进行聚类，其次针对每个簇的聚类中心保留一定比例的近邻样本作为代表性样本，最后随机去除部分剩余的多数类样本。最终经过ACNUS技术欠采样后的两类样本数大致相同。ACNUSBoost实在AdaBoost每一轮迭代中使用ACNUS对多数类样本进行欠采样，即平衡了样本的分布，又降低了传统欠采样技术丢失更重要信息的风险。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于欠采样改进的AdaBoost算法的脱贫时间预测方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于欠采样改进的AdaBoost算法的脱贫时间预测方法，该方法包括以下步骤：

训练阶段：

获取贫困户数据库，通过入库贫困户相关基本信息进行整理，提取致贫敏感信息，作为模型的输入，即训练样本；通过抽取贫困户的入库日期以及脱贫日期，得到贫困户从入库到脱贫所用的时间即脱贫年限，作为模型的输出；