[发明专利]一种面向海量数据的卷积神经网络训练引擎方法及系统

说明书

本发明公开了一种面向海量数据的卷积神经网络训练引擎方法及系统，方法包括：搭建卷积神经网络并行化训练模型，统一配置训练模型的训练参数；收集训练数据形成训练数据集，并对训练数据集进行分片，得到多个训练子集；将标准误差和累积误差相结合，改进标准BP算法，训练子集采用改进后的BP算法进行迭代串行训练，每个训练子集在训练结束后都各自输出一个连接权值；根据连接权值计算算术平均值，更新卷积神经网络中的权值参数,得到一个经过并行化训练的卷积神经网络模型。本发明还提供了一种面向海量数据的卷积神经网络训练引擎系统。通过本方案可以使神经网络并行化训练模型对大规模的数据有较好的适应性,能够提高卷积神经网络的训练效率。

技术领域

本发明涉及大数据与深度学习技术领域，尤其涉及一种面向海量数据的卷积神经网络训练引擎方法及系统。

背景技术

深度学习虽然有着超越传统视觉算法的性能优势，但是深度学习的缺点也是显而易见。使用深度学习的模型包含了大量的参数，带来了训练时计算量的大幅提升，降低了模型的计算效率，同时大量的计算增加了模型计算的误差率，降低了模型计算的准确率，且训练深度模型的庞大的计算量导致深度学习不能实时的运行在嵌入式或是手持设备中，这对于将深度学习技术应 用于人们的日常生活带来了许多不便。而且随着数据规模的增长,传统神经网络和卷积神经网络算法在这种海量数据条件下,面临的耗时长、系统资源不足等问题，同时在使用卷积神经网络时,海量数据下各种分布式卷积神经网络配置复杂.技术要求难度高。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种面向海量数据的卷积神经网络训练引擎方法及系统，解决了传统单机串行神经训练耗时长且占有较多的系统资源的问题、提高了神经网络对海量数据规模的适应性、简化了神经网络算法配置的复杂度。

本发明的目的是通过以下技术方案来实现的：

一种面向海量数据的卷积神经网络训练引擎方法，方法步骤包括：

S1，基于MapReduce框架搭建卷积神经网络并行化训练模型，统一配置训练模型的训练参数；

S2，收集训练数据形成训练数据集，根据训练参数使用NLineInputFormat方法对训练数据集进行等同记录数分片，得到多个训练子集；

S3，将标准误差和累积误差相结合，改进标准BP算法，同在每个训练子集采用改进后的BP算法进行N轮迭代串行训练，每个训练子集之间的迭代轮数相同，迭代训练结束后每个训练子集都各自输出一个连接权值；

S4，根据连接权值计算神经网络中权值参数的算术平均值，同时更新卷积神经网络中所有训练子集的权值参数，最终得到一个经过并行化训练的卷积神经网络模型。

具体的，所述步骤S1中训练模型的训练参数包括：标准误差BP模型文件初始化地址、A个样本的训练集地址、Mapper中的模型训练轮数N、切片数S，以及模型训练所需的环境配置文件地址。

具体的，所述步骤S2中根据配置的A个样本数据集地址和切片数S，按照A/S的比例将训练数据集分成具有相同样本数的训练子集。

具体的，所述步骤S3中N轮迭代串行训练过程包括以下子步骤：

S301，Mapper根据配置的标准误差BP模型文件初始化地址，从分布式系统上加载并行化训练模型得到CNN_in初始权值；

S302，Mapper将加载的模型与数据预处理获取的数据进行N轮迭代训练，每个训练子集一次迭代训练产输出一个标准误差BP模型的CNN_middle连接权值，且使用CNN类将模型的CNN_middle连接权值序列化为CNN对象并传递给Reducer；