[发明专利]一种基于机器学习的太赫兹物质识别方法及装置

说明书

本申请涉及基于机器学习的太赫兹物质识别方法及装置。所述方法包括：获取太赫兹光谱数据，将太赫兹光谱数据分别存入对应数据库，对太赫兹光谱数据做预处理，对预处理后的数据实施特征工程，以实施特征工程后的数据为机器学习数据源训练预测模型，通过预测模型预测物质成分，根据预测结果优化预测模型。采用本方法提高了物质识别的效率和识别结果的有效利用。

技术领域

本发明属于数据处理领域，涉及到一种基于机器学习的太赫兹物质识别方法及装置。

背景技术

太赫兹（Tera Hertz，THz）是波动频率单位之一，太赫兹泛指频率在0.1～10太赫兹波段内的电磁波，处于宏观经典理论向微观量子理论、电子学向光子学的过渡区域。频率上它要高于微波，低于红外线；能量大小则在电子和光子之间。由于此交叉过渡区，既不完全适合用光学理论来处理，也不完全适合用微波的理论来研究。

数据库技术是现代计算机技术的一个重要组成部分，是处理数据的有效工具。数据挖掘是挖掘信息，发现知识，没有明确的假设，即没有事先的研究和设计，获得的信息应该具有三个特征：以前未知的，有效的和实用的。数据挖掘方法可分为两类：描述性和预测性。描述性模式表征数据的一般性质，包括关联分析和聚类分析。预测模式根据当前数据进行汇总，包括分类和回归。机器学习（Machine Learning,ML）具有处理非线性数据的能力，可以从现有数据中学习后找到新的模式并生成预测。

目前，太赫兹检测侧重于物质识别与成像，对太赫兹光谱数据库建设的重视不足。而且光谱数据的采集侧重关键点，例如吸收峰、折射率等，对于其他光谱数据基本弃之不用。其所蕴含的信息随之灭失。通过人工观察太赫兹光谱曲线中的吸收峰、谷、肩峰等曲线特征来识别物质成分或采集相关图像中数据，存在效率低和人为误差的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率和数据挖掘的基于机器学习的太赫兹物质识别方法及装置。

第一方面，本申请提供了一种基于机器学习的太赫兹物质识别方法。所述方法包括：

获取太赫兹光谱数据；

太赫兹光谱数据存入数据库；

数据预处理；

特征工程；

机器学习训练预测模型；

预测物质成分；

优化预测模型。

第二方面，本申请还提供了一种基于机器学习的太赫兹物质识别装置。所述装置包括：

获取模块，用于获取太赫兹光谱数据；

存储模块，存储太赫兹光谱数据、机器学习相关数据；

数据处理模块，太赫兹光谱图像做图像去噪、图像倾斜校正、图像二值化、图像采样和图像量化，对太赫兹光谱数据采用小波变化、傅里叶变换等做数据转换，对光谱信息和测量相关数据（如检测物质相关信息、时间、温度和湿度等）机器学习的数据结构转换、数据类型转换、数据归一化、数据拆分为训练数据和测试数据；

机器学习训练模块，采用机器学习算法基于训练数据生成预测模型；

机器学习预测模块，采用预测模型对测试数据或待预测物质的太赫兹光谱数据进行预测；

机器学习评估模块，采用混淆矩阵或分类评估方法根据机器学习预测模型对测试数据的预测结果评估其预测水平；

统计分析模块，统计分析数据库中各类数据；

数据展示模块，提供数据展示功能，采用报表、投屏等方式展示数据。

上述基于机器学习的太赫兹物质识别方法及装置，获取已知或未知物质的太赫兹光谱数据，在数据库中对光谱数据进行数据处理，根据已知物质的太赫兹光谱数据训练机器学习预测模型并评估预测水平，基于未知物质的太赫兹光谱数据采用符合预测水平的机器学习预测模型预测识别未知物质。

相比于仅用太赫兹光谱特征值识别物质的方式，不但减少了信息损失，而且效率高。