[发明专利]一种基于参数融合的神经网络快速收敛样本训练方法

说明书

本发明公开了一种基于参数融合的神经网络快速收敛样本训练方法，涉及深度学习、神经网络领域。本发明包括以下步骤：1.首先对神经网络不同节点分块，使用融合函数对块内节点参数进行表达得到融合参数。2.使用间隔分块策略重复步骤1中的操作。3.在训练集上分别对两个分块神经网络进行训练。4.根据两个分块网络训练得到的融合参数进行分解。5.将分解得到的参数作为神经网络的初始化再次在训练集上进行训练微调。本发明的方法解决了神经网络训练过程中计算量大、时间跨度长的问题，使用参数融合的方法，用融合参数表达节点块中同类型的参数，减少了训练过程中的实际参数使用量，大大加快了神经网络的训练速度。

技术领域

本发明属于深度学习领域，具体涉及一种基于参数融合的循环神经网络快速训练方法。

背景技术

神经网络是一种通过模仿生物神经网络结构搭建出来的数学或计算模型，能够在外界信息输入的基础上自适应的改变其内部结构，使机器实现学习的功能。在现代的软件实现中，神经网络逐渐从生物学结构中抽离出来，更多的基于统计学和信号处理的方法，通过网络内部的参数表达知识。

神经网络的训练是指神经网络在一定的学习规则的指导下，通过训练样本的校正，自适应的调整网络中的权重及网络参数以达到对既定目标模型的创建，其本质是一个黑盒问题。

随着神经网络的快速发展，大量具有复杂结构的、深度的、高度非线性的神经网络被不断发明出来，以用于解决复杂问题或实现对同一模型的高精度拟合。特别是在2014年提出的残差神经网络极大的解放了神经网络的深度限制，深度学习的概念就此提出。

神经网络结构深度和复杂度的提升带来的是网络内部参数量的爆炸式提升。以卷积神经网络VGG-16为例，只有16层的VGG-16网络内部大约含有1.4×10⁸个参数。而现今很多深层次的神经网络往往具有成百上千层的结构，内含参数量十分庞大，训练这些神经网络往往需要耗费大量的时间和计算资源。虽然近些年很多结构新颖的神经网络被不断地提出来，能够在一定程度上减少网络内部参数的数量，从而减少计算量和训练时间，但是总体上仍然不能解决神经网络训练实践跨度长、计算量大的问题。

因此，针对上述问题，本发明提出了一种基于参数融合的神经网络快速收敛样本训练方法。将从神经网络训练的方法上对上述问题进行解决，有效的减少神经网络训练过程中计算量大、时间跨度长的问题。

发明内容

本发明的目的是解决神经网络训练过程中计算量大、时间跨度长的问题，使用参数融合的方法，用融合参数表达节点块中同类型的参数，减少了训练过程中的实际参数使用量，为加快神经网络的训练速度，提供了一种有效的方法。

本发明的解决其技术问题所采用的技术方案如下：

一种基于参数融合的神经网络快速收敛样本训练方法，包括如下步骤：

步骤A：对神经网络的不同节点分块，得到若干第一节点块；使用第一融合函数对块内节点参数进行计算，得到每一组相同的节点参数对应的第一融合值，则每一个第一节点块对应一个第一融合参数集合，构成第一分块神经网络；

步骤B：使用间隔分块策略，得到若干第二节点块；使用第二融合函数对块内节点参数进行计算，得到每一组相同的节点参数对应的第二融合值，则每一个第二节点块对应一个第二融合参数集合，构成的第二分块神经网络；

步骤C：在训练集上分别对第一分块神经网络和第二分块神经网络进行训练，得到训练好的第一融合参数集合和第二融合参数集合；

步骤D：对训练得到的融合参数进行分解；

步骤E：将分解得到的参数作为神经网络的初始化参数值，再次在训练集上进行训练微调，直至达到预设迭代训练次数或损失值。

与现有技术相比，本发明的有益效果是：