[发明专利]一种智能化光谱信号去噪方法

说明书

本发明数据处理领域，公开了一种智能化光谱信号去噪方法，用于提升光谱信号的去噪效果。本发明采用栈式可收缩性自编码网络对光谱数据进行重构，以实现光谱信号的去噪；栈式可收缩性自编码网络在训练时，采用分层贪婪的方法，以不含噪声的标准光谱数据作为目标期望值，将数据输入第一个DAE网络，得到相应输出y1,然后将y1作为第二级DAE网络的输入，逐级进行训练，最后将每级训练完成的网络得到的优化参数值，作为级联网络的参数初始值，进行微调训练得到最终的模型。本发明适用于光谱信号的噪声去除。

技术领域

本发明涉及数据处理领域，特别涉及一种智能化光谱信号去噪方法。

背景技术

近年来，伴随着人们物质生活水平的不断提高，对无损检测的精度等要求也日益增高，光谱检测作为目前一种流行的无损检测手段，虽具有多种优点，但也因受环境及自身光学设计等因素的影响，采集的数据通常含有大量噪声，在建立模型前必须进行去噪处理，去噪现在多采用小波变换等方式，很难达到噪声的完全滤除，噪声的存在严重影响模型建立的准确度，从而导致检测精度严重下滑。

发明内容

本发明要解决的技术问题是：提供一种智能化光谱信号去噪方法，用于提升光谱信号的去噪效果。

为解决上述问题，本发明采用的技术方案是：一种智能化光谱信号去噪方法，采用栈式可收缩性自编码网络对光谱数据进行重构，以实现光谱信号的去噪；栈式可收缩性自编码网络在训练时，采用分层贪婪的方法，以不含噪声的标准光谱数据作为目标期望值，将数据输入第一个DAE网络，得到相应输出y1,然后将y1作为第二级DAE网络的输入，逐级进行训练，最后将每级训练完成的网络得到的优化参数值，作为级联网络的参数初始值，进行微调训练得到最终的模型。

进一步的，为确保训练过程中的有效性，制作训练集时，采用线性归一化的方法对光谱数据进行归一化处理。

本发明的有益效果是：本发明将深度学习领域里面的栈式自编码网络与去噪自编码网络进行组合形成栈式自编码网络，并创造性用于光谱数据的去噪处理中，获得比传统小波变换等去噪方法更好的噪声滤除效果。

附图说明

图1是本发明的栈式可收缩性自编码网络结构。

图2是本发明的具体实现流程图。

图3是本发明的实际训练测试图。

具体实施方式

本发明提供了一种智能化光谱信号去噪方法，以Python语言为基础，在Anaconda平台上，以TensorFlow作为基本框架搭建模型，利用降噪自编码模型重构的思想来实现特征的自动提取，使用无监督逐层贪婪预训练和有监督微调的方法对深度自编码神经网络进行训练，从而实现对光谱信号噪声的去除。

如图1所示本发明所使用的降噪自编码网络(DAE)的结构图，降噪自编码网络的作用是要使期望输出与无噪声数据近似相等，输入数据经过编码阶段形成中间特征向量，中间特征向量在经过解码阶段重构出输入向量。本发明中采用可收缩性自编码网络来代替传统的自编码网络，可收缩自编码网络在本质上是对普通自编码网络的正则项进行修正，普通自编码网络直接对层级间的链接矩阵进行惩罚，而可收缩性自编码网络则是利用隐层的输出关于输入的雅克比矩阵来进行优化调节。该网络通过梯度下降算法进行寻优，最终目标是要达到误差最小，即寻找损失函数：