[发明专利]一种通信网络风险评估的分布式随机森林方法

说明书

本发明公开一种通信网络风险评估的分布式随机森林方法，包括数据预处理阶段、模型的离线训练阶段以及在线预测阶段，通过数据预处理阶段将训练数据划分为最佳数量的分区，使所提出的模型能够加速并行和分布式训练任务，将分区后的数据划分为训练集和测试集，然后利用spark构建随机森林模型进行训练，最后利用训练后的模型进行在线预测。本发明解决了传统通信网络风险评估方法的缺点，使得风险评估的结果更为可靠，此外该方法提高了集中式机器学习方法处理大数据的效率，节约了时间成本，提高风险评估中大数据的处理效率，同时避免集中式的通信过载问题。

技术领域

本发明涉及一种数据处理领域，具体是一种通信网络风险评估的分布式随机森林方法。

背景技术

目前，随着通信网络的快速稳定发展，5G网络时代的到来，使得传统2G、3G、4G网络的规模迅速扩大并且网络结构更为复杂，对通信网络进行风险评估有着至关重要的作用，它不仅确保运营商的正常运行，还可以为运营商提供准确、高效的运营保障。

已有的风险评估方法在评估通信网络的安全时大多采用主观性判断，例如模糊综合评价法、层次分析法、专家打分法等，通过人为设定风险因素的权值以判断整个通信网络的安全程度，其缺点是显而易见的，在很大程度上影响评估结果的准确性。随着机器学习技术的迅速发展，以及日益增长的数据量，使得传统的主观性风险评估方法不在适用，基于大数据及机器学习方法的风险评估技术受到广泛关注。在面对处理海量数据时，集中式的机器学习方法的效率则令人担忧，并且容易造成通信过载，损毁设备。

因此，为了得到一种既能高效处理海量数据，又能避免产生通信过载的通信网络风险评估方法，需要考虑分布式处理技术。利用分布式机器学习方法，既能避免集中式的低效率，又能防止通信过载，从而达到一种最优的数据处理模式，针对这种情况，现提出一种通信网络风险评估的分布式随机森林方法。

发明内容

本发明的目的在于提供一种通信网络风险评估的分布式随机森林方法，旨在提高风险评估中大数据的处理效率，同时避免集中式的通信过载问题，解决了传统通信网络风险评估方法的缺点，使得风险评估的结果更为可靠，此外该方法提高了集中式机器学习方法处理大数据的效率，节约了时间成本。

本发明的目的可以通过以下技术方案实现：

一种通信网络风险评估的分布式随机森林方法，包括数据预处理阶段、模型的离线训练阶段以及在线预测阶段，通过数据预处理阶段将训练数据划分为最佳数量的分区，使所提出的模型能够加速并行和分布式训练任务，将分区后的数据划分为训练集和测试集，然后利用spark构建随机森林模型进行训练，最后利用训练后的模型进行在线预测。

进一步地，所述数据预处理阶段由于跨节点的数据分布对于并行和分布式计算的效率至关重要，利用spark中的RDD技术进行分区操作，并且将训练数据划分为最佳数量的分区，使所提出的模型能够加速并行和分布式训练任务，设置N_p为分区数目的集合，Time(RDD_train,n_p)表示根据参数n_p计执行训练任务所需的计算时间的函数，最优分区数为：

使得

其中是分区的最佳数，得到最优分区后，对分区后的数据进行训练集和测试集的划分，以最终进行模型的训练和测试。

进一步地，所述离线训练阶段利用spark构建随机森林模型，在模型构建过程中，利用bootstrap对训练数据进行采样生成新的训练数据，并从新的训练数据中根据基尼指数选择最优的特征以进行树的划分，最后集成每棵树构建随机森林模型，具体步骤如下

Step 1：输入分区的训练数据集

for train of each partition do

Step 2：