[发明专利]一种基于知识转移的动态工业数据分类方法

权利要求书

1.一种基于知识转移的动态工业数据分类方法，其特征在于：包括以下步骤：

S1：利用多传感器获取工业过程数据，包括温度、湿度、气压；

S2：利用S1中收集到的数据进行自编码器和分类神经网络模型的训练；

S3：利用训练好的自编码器对数据分布是否发生变化进行检测，如果重构误差大于阈值，则判定数据分布发生变化；

S4：将已发生分布变化的数据用于训练新的自编码器，直到重构误差降低到阈值以内，并将新的自编码器与之前的自编码器进行集成操作；

S5：对于未检测到分布发生变化的数据，将其继续用于原模型优化；当检测数据分布已经发生变化，采用知识转移的方法，找到网络连接中重要程度较高的连接权重，保持其不变，对于重要程度较低的连接权重进行进一步的训练；具体包括以下步骤：

S51：对于未检测到分布变化的数据，采用随机梯度下降的方法，优化分类模型；

S52：对于分布已经发生变化的数据，将权重关于变量的二阶倒数作为损失函数的正则项进行优化，损失函数如下所示：

其中L′(θ)为当前的损失函数，L(θ)为上一个任务的损失函数，λ为惩罚因子，b_i表示当前连接权重对之前任务的重要性，通过对变量的二次求导得出，θ_i为当前需要学习的权重，为上一个分布已经学习到的权重；

S6：重复步骤S3-S5，直至模型包含所有工况或者对于新数据误差降至阈值以内。

2.根据权利要求1所述的基于知识转移的动态工业数据分类方法，其特征在于：所述步骤S2具体包括以下步骤：

S21：定义自编码器为从最中间层开始的两端对称结构；

S22：定义输入层和输出层的神经元数目与输入数据的维数相同；

S23：定义结构参数α，从输入层开始，到最中间层为止，每一层的神经元数目与上一层的神经元数目之比为α；

S24：定义第一个隐含层和输出层的激活函数为Sigmoid函数，其余的采用ReLU函数作为激活函数；

S25：定义网络的连接方式为随机连接；

S26：定义分类神经网络模型输入层神经元与数据维数相同；

S27：定义分类神经网络模型采用随机梯度下降方式进行优化；

S28：定义分类神经网络的输出采用softmax函数。

3.根据权利要求1所述的基于知识转移的动态工业数据分类方法，其特征在于：在所述步骤S3中，采用一个窗口内的数据累计重构误差大于阈值来判定数据分布发生变化。

4.根据权利要求1所述的基于知识转移的动态工业数据分类方法，其特征在于：所述步骤S4具体包括以下步骤：

S41：利用已发生分布变化的数据按照步骤S2训练新的自编码器；

S42：利用权重法对多个自编码器进行集成操作。

5.根据权利要求1所述的基于知识转移的动态工业数据分类方法，其特征在于：所述步骤S2中，自编码器为防止在少量样本下产生过拟合现象，采用随机连接方式。