[发明专利]一种复杂样品光谱信号选择性集成预处理建模方法

说明书

本发明涉及一种复杂样品光谱信号选择性集成预处理建模方法，不选择某一种预处理方法，而是使用所有的预处理方法对光谱分别预处理后建立PLS模型，在进行光谱预处理时，先对偏最小二乘和预处理方法进行参数优化后，对10种预处理方法按照基线校正、散射校正、平滑处理和尺度缩放的顺序进行全排列组合建立120种预处理方法及其组合的PLS模型，再对预测效果优于PLS模型的结果进行集成，其简单平均作为最终预测结果。本发明无需选择预处理方法，预测准确度却优于最佳的预处理方法。本发明适用于存在噪声、背景、杂散光干扰的复杂样品光谱信号的建模。

技术领域

本发明属于光谱信号预处理领域，具体涉及一种复杂样品光谱信号选择性集成预处理建模方法。

背景技术

复杂样品光谱数据会受到杂散光、噪声、基线漂移等因素的干扰，从而影响最终的定性定量分析结果。因此，在建模之前往往需要对数据进行预处理。根据预处理的目的，预处理方法可以分为基线校正、散射校正、平滑处理和尺度缩放四大类，分别可以消除基线、散射、噪声及取值范围对预测结果的影响。每类预处理方法又包括多种预处理方法，如基线校正的方法有一阶导数、二阶导数、连续小波变换等，散射校正的方法包括多元散射校正、标准正态变量等，平滑处理包括SG平滑、多项式平滑等，尺度缩放方法包括中心化、最大最小归一化、标准化等。

由于复杂样品光谱信号可能同时会存在杂散光、噪声、基线漂移等多种因素的干扰，单一的预处理不能消除多种因素的影响，需要对预处理方法进行组合。在组合预处理中，预处理方法的数目和顺序都会影响预测结果。尽管有研究表明，预处理方法按照基线校正、散射校正、平滑和尺度缩放的顺序组合，效果较好(J Gerretzen，E Szymanska，JJJansen，J Bart，HJ van Manen，ER van den Heuvel，LMC Buydens，Simple and effectiveway for data preprocessing selection based on design of experiments，Analytical Chemistry，2015，87(24)：12096-12103)。但是单一的预处理方法有十几种，它们之间的组合方式有上百种，不同样品不同仪器测得的光谱数据的最佳预处理方法也都不同。因此，对于被分析的光谱数据，如何选择最佳的预处理方法是很棘手的工作。

集成技术不选取最佳的方法，而是考察多种方法，最终对多种方法的结果融合得到一个最终结果，能够显著提高单一方法的效果并省去了方法选择的问题。集成技术已与建模、波长选择、奇异样本识别等结合，发展了一系列集成建模(卞希慧，刘巍，王秋男，谭小耀，郭玉高，一种近红外光谱的多模型建模方法，中国发明专利，2017，ZL201310537968.3)、集成波长选择(LZ Yi，NP Dong，YH Yun，BC Deng，DB Ren，S Liu，YZ Liang，Chemometricmethods in data processing of mass spectrometry-based metabolomics：a review，Analytica ChimicaActa，2016，914：17-34)以及集成奇异样本识别方法(XH Bian，WS Cai，XG Shao，D Chen，ER Grant，Detecting influential observations by clusteranalysis and Monte Carlo cross-validation，Analyst，2010，135：2841-2847)。本发明将集成技术与预处理方法相结合，避免了预处理方法的选择，并能获得比最佳预处理结果更好的预测效果。

发明内容

本发明的目的是针对上述存在的问题，提供一种选择性集成预处理建模方法，该方法不仅可以避免预处理方法的选择，还可以获得比最佳预处理方法更好的预测效果。为实现本发明所提供的技术方案包括以下步骤：

1)复杂样品数据的采集

收集被测物样品的近红外光谱数据，采用常规方法测定目标分析物的含量，将数据集划分为训练集和预测集；