[发明专利]一种基于并行多级宽度神经网络的学习方法

摘要

本发明公开了一种基于并行多级宽度神经网络的学习方法，包括以下步骤：获取验证集，构建基分类器；对并行M级宽度神经网络的每级进行训练和验证，得到训练后的并行M级宽度神经网络和每级宽度神经网络对应的验证输出；通过统计计算得到每级宽度神经网络的决策阈值；通过测试集对验证后的并行多级宽度神经网络进行测试。本发明的神经网络具有多级结构，每级针对数据的不同部分进行学习，且可实现并行化训练和测试。每一级采用一种宽度神经网络在宽度方向进行特征学习；通过多个宽度神经网络作为基分类器在宽度方向的再次连接，实现两个宽度方向上的分类器集成；通过增加新一级的宽度神经网络实现网络的增量学习；且可实现并行化测试。

主权项

1.一种基于并行多级宽度神经网络的学习方法，并行多级宽度神经网络包括多级宽度神经网络，其中，每级宽度神经网络包含依次连接的输入层、隐藏层和输出层，其特征在于，所述学习方法包括以下步骤：步骤1，获取原始训练样本集，构建并行M级宽度神经网络Net₁，…Net_m，…，Net_M(m＝1，2…，M)，每级宽度神经网络作为对应级的基分类器；通过对原始训练样本集进行M次数据变换，对应得到M个验证集x_{v_1}，…x_{v_m}，…x_{v_M}：其中，原始训练样本集的样本总数为N_tr；步骤2，采用原始训练样本集和M个验证集x_{v_1}，…x_{v_m}，x_{v_M}分别对并行M级宽度神经网络的每级进行训练和验证，得到训练后的并行M级宽度神经网络和每级宽度神经网络对应的验证输出y_{v_m}(m＝1，2…，M)；采用最小误差法得到每个验证输出y_{v_m}对应的标签y_{v_ind_m}，进而得到训练后的并行M级宽度神经网络的每级宽度神经网络的验证集的正确分类样本集y_{vc_m}和错误分类样本集y_{vw_m}；步骤3，对训练后的并行M级宽度神经网络的每级宽度神经网络的验证集的正确分类样本集y_{vc_m}和错误分类样本集y_{vw_m}分别进行统计计算，对应得到训练后的每级宽度神经网络的决策阈值T_m；将每级宽度神经网络的决策阈值T_m作为对应级宽度神经网络的决策依据，得到决策阈值确定的并行M级宽度神经网络；步骤4，获取测试集，将测试集作为决策阈值确定的并行M级宽度神经网络的输入数据，并行输入给决策阈值确定的每级宽度神经网络进行测试，得到决策阈值确定的每级宽度神经网络的输出；获取每级宽度神经网络的误差向量，对决策阈值确定的每级宽度神经网络的输出进行判断，从而得到决策阈值确定的每级宽度神经网络的测试输出对应的标签y_{test_ind_m}。