[发明专利]大规模不平衡糖尿病电子病历并行分类邻域证据Spark方法

权利要求书

1.大规模不平衡糖尿病电子病历并行分类邻域证据Spark方法，其特征在于，包括以下步骤：

S1：在主节点Master上，通过Hadoop分布式文件系统HDFS读取大规模不平衡糖尿病电子病历数据集，按照4:1比例划分训练数据集S^TR和测试数据集S^TE，将训练数据集S^TR发送到m子节点上，并将数据转换为一个四元组决策信息系统S＝U,C∪D,V,f，决策信息系统S表示如下：

S＝U,C∪D,V,f，其中U＝{x₁,x₂,...,x_M}表示糖尿病电子病历数据集中的患者对象集合，M表示糖尿病电子病历患者的个数；C＝{a₁,a₂,...,a_n}表示糖尿病电子病历患者病理特征的非空有限集合，n表示糖尿病电子病历患者病理特征的个数；D＝{d₁,d₂}表示糖尿病电子病历患者类别标签的非空有限集合，d₁表示患者没有患有糖尿病，d₂表示患者患有糖尿病，且V＝∪_a∈C∪DV_a，V_a是糖尿病电子病历患者病理特征a的可能情况；f:U×C∪D→V是一个信息函数，它为每个糖尿病电子病历患者病理特征赋予一个信息值，即x∈U,f(x,a)∈V_a；

S2：对糖尿病训练集进行不平衡预处理：在子节点Slaver_i上，i＝1,2,...,m，从训练数据集S^TR＜U^TR,C∪D,V^TR,f的电子病历患者集合中分别筛选出患有糖尿病患者集合和未患有糖尿病患者集合且满足和其中P+N＝M₁，P＞N，N表示患有糖尿病患者的个数，P表示未患有糖尿病患者的个数，然后利用Spark并行欠采样从上随机采样出N个未患有糖尿病患者集合将和合并形成新的数据子集其中在不同的子节点上形成不同的训练数据子集；

S3：在子节点Slaver_i上，构建基于邻域决策错误率的Spark并行病理特征约简器得到糖尿病电子病历数据在不同子节点下的病理特征约简集合{R₁,R₂,...,R_i,...,R_m}；

S4：邻域决策错误率的Spark并行病理特征约简器构建实现方法：在子节点Slaver_i上，首先计算糖尿病患者对象的邻域空间，其次根据糖尿病患者对象的邻域空间计算关于糖尿病类别标签下近似集，再次根据类别概率预测糖尿病患者对象的类别标签，并计算邻域错误率，最后通过邻域错误率构建糖尿病患者对象的病理特征重要度集，并对糖尿病患者病理特征集合进行病理特征约简得到子节点Slaver_i上的病理特征约简子集R_i；

S5：将糖尿病测试数据集广播到m个子节点上，并根据病理特征约简集合{R₁,R₂,...,R_m}更新训练数据子集和测试数据集中的病理特征集合C，得到新的训练数据子集集合和测试数据子集集合其中

S6：在子节点Slaver_i上，通过D-S证据理论驱动的邻域证据Spark并行分类器对测试子集中的待测糖尿病电子病历患者进行预测类别标签；

S7：证据理论驱动的邻域粗糙分类器构建实现方法：在子节点Slaver_i上，首先计算待测糖尿病电子病历患者的邻域空间中关于训练数据集中糖尿病电子病历患者及其决策类划分的证据信息，其次将不同类别标签的证据信息进行聚合，再次计算待测糖尿病电子病历患者对某一决策类划分的信任函数和似然函数，最后根据最大信任函数值预测子节点Slaver_i上的待测糖尿病电子病历患者的类别标签ω_i；

S8：将m个子节点上的预测类别标签发送到主节点上，根据多数投票机制，通过Reduce操作聚合m个预测类别标签中概率最大的类别标签作为待测糖尿病电子病历患者的最终预测类别标签。