[发明专利]一种分布式极限学习机优化集成框架方法系统及方法

说明书

本发明属于数据处理技术领域，尤其涉及一种分布式极限学习机优化集成框架的系统，包括数据分布存储模块、Stack‑Autoencoder特征提取模块、分布式计算模块和结果输出模块；数据分布存储模块将数据进行分布式存储，并对ELM隐层进行分析和确定；Stack‑Autoencoder特征提取模块对数据进行特征学习，获得压缩化的输入数据，并对输入数据进行归一化处理和特征提取；分布式计算模块根据输入数据进行映射和归约处理得到总体最优权值。本发明对大数据的模式分类更为精确，解决因单层ELM的节点过多造成的过拟合问题使高维矩阵的运算分块并行进行，计算效率得到提高；不用提前将数据读入内存，节省了内存资源。

技术领域

本发明属于数据处理技术领域，尤其涉及一种分布式极限学习机优化集成框架方法系统及方法。

背景技术

极限学习机(extreme learning machine)ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数，并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数，在算法执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因此具有学习速度快且泛化性能好的优点。

极限学习机不同于传统前馈神经网络的训练学习，输入权重与隐层节点偏置无需基于梯度下降法迭代确定，而是根据训练数据与隐层节点的规模随机确定权值，以最小化代价函数为目标，即最小化目标输出与实际输出的误差，通过求矩阵Moore-Penrose广义逆等算法获得最优输出权值。

但是，目前的ELM算法不能支持对于大规模输入样本的学习，由此得到的特征对于样本刻画的不够清晰本质，不利于可视化或分类。针对Basic-ELM算法对处理大数据集产生的网络不稳定与过拟合，和基于支持大数据集处理的衍生ELM算法(如V-ELM，OS-ELM等)造成的训练集规模过大，训练时间过长的问题，需要提出一种将传统单隐层ELM算法推广到多层，实现复杂函数逼近，表征输入数据分布式表示，同时应用Map-Reduce分布式计算框架，既保证了较高的精度，又能使ELM算法的高效计算能力与良好的扩展性得到的体现。

发明内容

本发明提供了一种基于深度学习与极限学习机的优化集成系统及方法，旨在解决现有的Basic-ELM算法不能支持对于大规模输入样本的学习，并且由此得到的特征对于样本刻画的不够清晰本质，不利于可视化或分类，对处理大数据集产生的网络不稳定与过拟合，和基于支持大数据集处理的衍生ELM算法造成的训练集规模过大，训练时间过长的技术问题。

本发明是这样实现的，一种分布式极限学习机优化集成框架系统，包括数据分布存储模块、Stack-Autoencoder特征提取模块、分布式计算模块和结果输出模块；

所述数据分布存储模块用于读入训练数据，并根据数据的类型和规模确定隐层数和隐层节点数；同时根据隐层数将数据分割为多个训练子集，同时将分割的数据分布到不同的训练子集中进行存储；

所述Stack-Autoencoder特征提取模块用于对分布在各个训练子集的训练数据进行特征学习，获得各个训练子集压缩化的输入数据，并对输入数据进行归一化处理和特征提取；

所述分布式计算模块用于根据对各个训练子集压缩化输入数据提取的特征和隐层节点数进行映射和归约处理得到总体最优权值；

所述结果输出模块用于输出最优权值分析结果。

具体的，所述数据分布存储模块包括数据采集单元、分布式存储单元和隐层分析单元；

所述数据采集单元用于采集训练数据；

所述分布式存储单元用于对数据进行分割，同时将分割的数据分布到不同的训练子集中，进行存储和读入；

所述隐层分析单元用于并根据数据的类型和规模，确定ELM隐层数和隐层节点数。