[发明专利]复值前向神经网络的二阶混合构建方法及系统

权利要求书

1.一种复值前向神经网络的二阶混合构建方法，其特征在于，包括如下步骤：

步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；

步骤S2：利用复值二阶混合优化算法调整所述复值神经网络的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；

步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；

步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。

2.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值神经网络是初始的三层复值前向神经网络模型。

3.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。

4.根据权利要求3所述的复值前向神经网络的二阶混合构建方法，其特征在于：对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，并对其进行更新，利用复值LM算法得到输入层与隐层神经元之间权值的修正量，并对其进行更新。

5.根据权利要求1或3所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值二阶混合优化算法包括复值LM算法与复值最小二乘算法。

6.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。

7.根据权利要求6所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述代价函数是复变量均方误差函数。

8.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。

9.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并测试其性能。

10.一种复值前向神经网络的二阶混合构建系统，其特征在于，包括：

初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；

训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；

验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述训练模块；

微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。