[发明专利]一种基于稀疏特征嵌入的违约用户概率预测方法

摘要

本发明一种基于稀疏特征嵌入的违约用户概率预测方法：首先将用户的原始数据转换为变量特征，然后将变量特征中的多类别变量映射到一个稀疏矩阵中(类似于one‑hot处理)；在此基础上，通过基础决策树模型将该稀疏矩阵映射到概率，再将该概率作为特征增加到模型中，来进行违约用户预测。本发明一种基于稀疏特征嵌入的违约用户概率预测方法，与现有技术相比，其优点在于：有效提高了类别编码的处理能力，同时在后续机器学习的流程中有效降低了特征空间的维度，有利于机器学习模型的学习和处理。

主权项

1.一种基于稀疏特征嵌入的违约用户概率预测方法，其特征在于：该方法步骤如下：步骤一、数据清洗将用户在第三方平台的原始数据转化为不同维度下的变量特征，除了传统的基于最近消费时间，最近的消费金融，最近的消费频率的变量之外，根据提供的数据将数据整体划分为行为数据、消费数据、基本信息数据的维度，通过对这些数据进行分析、转换，最终形成多维度多变量的特征；同时针对原始数据存在的存储不规范、字段不统一、中英文混合、数据缺失、多类别变量的问题，采用数据清洗将原始数据转化为规整数据；步骤二、基于机器学习的特征工程所述的基于机器学习的特征工程分为两部分，分别是传统特征工程和基于机器学习的多类别变量处理方法；原始特征经过传统特征工程加工后会生成新特征，但是部分新特征是稀疏特征，不能直接作为模型的训练数据，因此通过基于机器学习的多类别变量方法，将稀疏特征转换为一维特征，从而可直接作为模型的训练数据；其中：2.1传统特征工程将原始特征中的变量按照时间类、金额类、地址类、电话号码类分别进行特征提取、变量衍生工作；2.2基于决策树算法的多类别变量处理方法针对多类别变量的稀疏特征，提出一种即基于决策树算法的多类别变量处理方法，将稀疏特征转换为一维特征，具体过程如下：首先将多类别变量ω进行one‑hot编码，得到一个稀疏矩阵H，其维度等于原数据中ω的不同类别数量；然后将该稀疏矩阵H和标签信息Y即用户的违约信息结合后，使用决策树模型F进行拟合，将模型输出的概率值P作为新特征放入后续模型F’中，通过这一步即将稀疏矩阵H映射为了一维变量P，并将其作为特征增加到模型中；决策树算法：决策树模型采用CART生成算法，模型输入是训练数据集和停止计算的条件，输出是CART决策树；算法根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉决策树：(1)设节点的训练数据集为D，计算现有特征对该训练数据集的基尼指数；假设有K个类，样本点属于第k类的概率为p_k，则概率分布的基尼指数定义为对于给定的训练数据集合D，其基尼指数为(2)此时，对每一个特征A，对其可能取的每个切分点a，根据样本点对A＝a的测试为“是”或“否”将D分割成D₁和D₂两部分，利用如下公式计算A＝a时的基尼指数；(3)在所有可能的特征A以及它们所有可能的切分点a中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点；依据最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依据特征分配到两个子结点中去；(4)对两个子结点递归调用上述子步骤(1)、(2)、(3)，直至满足停止条件；(5)生成CART决策树；决策树算法停止的条件是结点中的样本个数小于预定阈值，或样本集的基尼指数小于预定阈值，或者没有更多特征。