[发明专利]大规模不平衡糖尿病电子病历并行分类邻域证据Spark方法

说明书

本发明提供了一种大规模不平衡糖尿病电子病历并行分类邻域证据Spark方法，在主节点上读取糖尿病数据，并按照4:1比例将糖尿病数据划分为训练集和测试集；在子节点上对糖尿病训练集通过Spark并行欠采样获得多个新的训练子集；在子节点上通过Spark并行病理特征约简器得到病理特征约简子集，并更新每个子节点上训练子集和测试子集的病理特征集，在子节点上，通过邻域证据Spark并行分类器获得测试子集的预测类别标签集合，在主节点上根据投票机制得到最终的预测类别标签。本发明的有益效果为：本发明去除大规模数据中冗余属性，提高了计算效率，充分地利用了样本之间的支持信息，提升了糖尿病数据分类的效率和精度。

技术领域

本发明涉及医学信息智能处理技术领域，尤其涉及一种大规模不平衡糖尿病电子病历并行分类邻域证据Spark方法。

背景技术

糖尿病(diabetes mellitus；DM)是指由遗传因素、内分泌、功能紊乱后膳食不平衡等各种致病因子作用，导致胰岛功能衰退、胰岛素抵抗等而引发的糖、蛋白质、脂肪、水和电解质等一系列代谢紊乱综合征。同时，由糖尿病引发的并发症种类更多，医生只依靠患者的体征无法有效精准地判断患者是否患有糖尿病。

目前，判断糖尿病病变状况的有效办法是通过糖尿病病因病机的病理特征实验，然而实验却需要几十种病因病机的病理特征实验结合在一起。这会导致实验测试数据属性过多和数据量大，也会增加医生对糖尿病患者的病变情况的判断方面的工作量。

如何有效分析患者的糖尿病病变信息和帮助医生有效地分析患者糖尿病病变症状，亟需一种新的方法能有效地减少糖尿病数据分类信息中冗余的病理特征，降低糖尿病数据的分析时间和提高分析效率及精度，有效进行糖尿病数据分类的筛查和分析。

发明内容

本发明的目的在于提供一种大规模不平衡糖尿病电子病历并行分类邻域证据Spark方法，解决了现有的判断糖尿病病变状况的有效办法是通过糖尿病病因病机的病理特征实验，导致实验测试数据属性过多和数据量大，增加医生对糖尿病患者的病变情况的判断方面的工作量问题。

本发明是通过如下措施实现的：一种用于大规模不平衡糖尿病电子病历并行分类的邻域证据Spark方法，包括以下步骤：

步骤1、在主节点Master上，通过Hadoop分布式文件系统HDFS读取大规模不平衡糖尿病电子病历数据集，按照4∶1比例划分训练数据集S^TR和测试数据集S^TE，将训练数据集S^TR发送到m子节点上，并将数据转换为一个四元组决策信息系统S＝U,C∪D,V,f，决策信息系统S表示如下：

S＝U，C∪D，V，f，其中U＝{x₁，x₂，K，x_M}表示糖尿病电子病历数据集中的患者对象集合，M表示糖尿病电子病历患者的个数；C＝{a₁，a₂，K，a_n}表示糖尿病电子病历患者病理特征的非空有限集合，n表示糖尿病电子病历患者病理特征的个数；D＝{d₁，d₂}表示糖尿病电子病历患者类别标签的非空有限集合，d₁表示患者没有患有糖尿病，d₂表示患者患有糖尿病，且V＝U_a∈C∪DV_a，V_a是糖尿病电子病历患者病理特征a的可能情况；f：U×C∪D→V是一个信息函数，它为每个糖尿病电子病历患者病理特征赋予一个信息值，即x∈U，f(x，a)∈V_a；