[发明专利]一种基于Spark的极限学习机并行化计算方法

摘要

本发明公开了一种基于大数据处理平台Spark的极限学习机并行化计算方法，适用于大数据处理平台Spark机器学习领域使用。首先将样本数据集按照每个样本逐行存储于分布式文件系统，并对样本集进行预处理得到特征矩阵以及类别标签向量T；接下来，按照样本特征数以及隐节点数目随机初始化隐层节点参数：权重矩阵ω以及隐层偏差向量b；之后利用矩阵乘并行化方案求解得到隐层输出矩阵H；最后利用矩阵乘并行化方案以及矩阵单机求逆运算得到输出权重向量β的唯一最优解其步骤简单，计算量小，可以将计算步骤在多台计算机上并行计算，从而有效提高计算效率，同时容错性好，能够使得极限学习机算法在大数据背景下进行模型训练的效率大幅提升。

主权项

1.一种基于Spark的极限学习机并行化计算方法，其特征在于包括以下步骤：a.向服务器发送原始学习数据，服务器在磁盘的分布式文件系统HDFS中读取原始学习数据，包括属性以及类别的描述及数值，将原始学习数据的属性以及类别全部解析成数值得到样本数据，将所有样本数据集存储到服务器的分布式文件系统中，每个样本存储为一行，所述存储入服务器分布式文件系统中的所有样本数据均可以被集群网络中所有连接的计算机后续共同访问；b.利用服务器对所有样本数据集进行预处理操作，将样本数据转化成属性变量矩阵P以及类别变量矩阵T；c.随机初始化隐层节点参数获得随机生成的输入权重矩阵ω以及隐层偏差向量b，完成服务器作为极限学习机的初始化步骤；d.针对属性变量矩阵P矩阵以及初始化所得的输入权重矩阵ω，利用矩阵乘并行化方案计算得到二者乘积，对所得乘积的每个元素通过激活函数映射得到隐层输出矩阵H，利用矩阵乘并行化方案以及矩阵单机求逆运算得到输出权重向量β的唯一最优解所述矩阵乘并行化方法为：对于两个矩阵相乘后得到新矩阵C＝A*B的矩阵乘运算，首先将矩阵A按行逐行存储于服务器的分布式文件系统中，将矩阵B按列逐行存储于服务器的分布式文件系统中，设矩阵A的行数为rowA,矩阵B的列数为colB，依次将矩阵A的第i行数据复制colB份，每份逐行存储并在每行前分别添加“i 0”、“i 1”……“i colB”作为后续转化所得PairRDD的key值，得到新的矩阵数据A'，依次将矩阵B的第j行数据复制rowA份，每份逐行存储并在每行前分别添加“0 j”、“1 j”……“rowA j”作为后续转化所得PairRDD的key值，得到新的矩阵数据B'，将矩阵数据A'和矩阵数据B'存储并添加入分布式文件系统中的存储文件，再将存储文件读入内存RDD中，通过Map to Pair操作，每个RDD的前两个元素作为key，其他元素作为value，将RDD转换成PairRDD，从而得到键值对为，“value1 value2 ……valuen”即为矩阵相应的行列向量；最后通过ReduceByKey操作，将相同key值的两个PairRDD的value进行向量内积运算得到reduce后的value值，key值为(0 0)、(0 1)……(rowA colB)所对应的value值即为所求矩阵乘积的各个元素。