[发明专利]一种通信网络风险评估的分布式随机森林方法

权利要求书

1.一种通信网络风险评估的分布式随机森林方法，包括数据预处理阶段、模型的离线训练阶段以及在线预测阶段，其特征在于:通过数据预处理阶段将训练数据划分为最佳数量的分区，使所提出的模型能够加速并行和分布式训练任务，将分区后的数据划分为训练集和测试集，然后利用spark构建随机森林模型进行训练，最后利用训练后的模型进行在线预测。

2.根据权利要求1所述的一种通信网络风险评估的分布式随机森林方法，其特征在于，所述数据预处理阶段由于跨节点的数据分布对于并行和分布式计算的效率至关重要，利用spark中的RDD技术进行分区操作，并且将训练数据划分为最佳数量的分区，使所提出的模型能够加速并行和分布式训练任务，设置N_p为分区数目的集合，Time(RDD_train,n_p)表示根据参数n_p计执行训练任务所需的计算时间的函数，最优分区数为：使得

其中是分区的最佳数，得到最优分区后，对分区后的数据进行训练集和测试集的划分，以最终进行模型的训练和测试。

3.根据权利要求1所述的一种通信网络风险评估的分布式随机森林方法，其特征在于，所述离线训练阶段利用spark构建随机森林模型，在模型构建过程中，利用bootstrap对训练数据进行采样生成新的训练数据，并从新的训练数据中根据基尼指数选择最优的特征以进行树的划分，最后集成每棵树构建随机森林模型，具体步骤如下

Step 1：输入分区的训练数据集

for train of each partition do

Step 2：

Step 3：生成随机森林模型{h_i,i＝1,2,...,N_tree}。

4.根据权利要求1所述的一种通信网络风险评估的分布式随机森林方法，其特征在于，所述在线预测阶段基于数据的并行化，以及Python多线程编程和Spark的并行框架，将测试集的每个样本并行分配到工作节点中，利用离线训练过的模型进行最终的预测。