[发明专利]一种拟合多尺度数据集的多尺度神经网络方法

权利要求书

1.一种拟合多尺度数据集的多尺度神经网络方法，其特征在于，包括以下步骤：

S1：针对数据集中的训练集，确定数据样本标签数据的尺度效应系数c；

S2：确定神经网络网络结构和多尺度代价函数J；所述神经网络网络结构包括输入层、全连接隐藏层和输出层，所述多尺度代价函数J满足公式：

其中，m为数据样本的数量，y^o_i为神经网络对第i个数据样本的输出数据，y_i为第i个数据样本的标签数据，λ为L2正则系数，w_j为模型中第j个权重，N_w为神经网络的权重个数，c为尺度效应系数，δ为克罗内克算子，当log|y_i|＝log|y|_min时，其值为1，不相等时，其值为0；

S3：将训练集的输入数据输入神经网络，通过前向计算过程，确定多尺度代价函数值，所述前向计算过程为数据由输入层流向隐藏层，最终从输出层流出的，数据向前流动的计算过程；

S4：根据所述多尺度代价函数值，确定神经网络输出层和隐藏层的误差分量；

S5：根据误差分量确定神经网络的权重更新梯度，更新权重参数；

S5返回S3，迭代训练神经网络，直至神经网络的代价函数J小于预设数值χ或达到预定迭代训练次数Iter。

2.根据权利要求1所述的拟合多尺度数据集的多尺度神经网络方法，其特征在于，所述尺度效应系数c计算公式为：

c＝log(|y|_max)-log(|y|_min)

其中，y为训练集中所有数据样本的标签数据集合。

3.根据权利要求1所述的拟合多尺度数据集的多尺度神经网络方法，其特征在于，所述全连接隐藏层由隐藏层节点组成，隐藏层节点利用激活函数对数据进行非线性处理，节点数量N_h满足公式

N_h＝a×N_c+b×N_v

其中，N_c为数据样本的输入数据中不会随时间变化的常变量个数，N_v为数据样本的输入数据中随时间变化的可变变量个数，a为常变量系数，b为可变变量系数。

4.根据权利要求1所述的拟合多尺度数据集的多尺度神经网络方法，其特征在于，所述前向计算过程满足公式：

z_i^h＝W^h×x_i+b^h

h_i＝f(z_i^h)

z_i^o＝W^o×h_i+b^o

y_i^o＝f(z_i^o)

其中，x_i是输入神经网络的第i个样本的输入数据，是隐藏层节点的输入数据，h_i是隐藏层节点采用激活函数f进行非线性映射后的输出数据，是输出层的输入数据，是输出层的输出数据，W^h和W^o分别为隐藏层和输出层的权值参数，b^h和b^o分别是隐藏层和输出层的偏置项参数。

5.根据权利要求1所述的拟合多尺度数据集的多尺度神经网络方法，其特征在于，所述误差分量满足公式：

δh_i＝(W^o)^T×δy_i^o⊙f′(h_i)

其中，⊙表示相同维度矩阵的相同位置的元素进行乘积运算，(W^o)^T为输出层权值参数的转置，为输出层第i个样本的误差分量，δh_i为隐藏层第i个样本的误差分量。

6.根据权利要求1所述的拟合多尺度数据集的多尺度神经网络方法，其特征在于，所述权重更新梯度的梯度值满足公式：

所述更新权重参数满足公式

其中，W为W^h和W^o，b为b^h和b^o。