[发明专利]计算基于扫描电镜的双探测器三维成像深度的方法及系统

说明书

本发明涉及一种计算基于扫描电镜的双探测器三维成像深度的方法，包括标定具有第一探测器和第二探测器的扫描电镜的参数；使用扫描电镜拍摄样品图像，对得到的第一原始图像和第二原始图像进行去噪，对第一原始图像和第二原始图像进行训练学习，输出第一图像和第二图像；分别提取第一图像和第二图像的特征点并对其进行匹配；将第一图像和第二图像上的对应点约束到同一水平线上，得到第一校准图像和第二校准图像；计算第一校准图像和第二校准图像的视差；根据视差结果和两个探测器的夹角建立视差‑深度的映射关系并计算得到深度信息。本发明结合SEM内部的双探测器拍摄图像，计算出图像的深度，降低操作的难度，节省时间，且能够提高装配精度和效率。

技术领域

本发明涉及微纳尺度三维重建技术领域，尤其是指一种计算基于扫描电镜的双探测器三维成像深度的方法及系统。

背景技术

三维重建技术主要是通过视觉方式获得重建目标场景的真实信息，即利用二维图像恢复三维信息的一种技术。目前宏观尺度三维重建的成像系统受限于光学分辨率和显微成像景深小等限制，常规尺度的光学三维重构技术无法应用于微纳尺度场景重建，同时还受限于扫描电镜SEM复杂的成像系统。

针对三维纳米器件操作与组装复杂的问题，目前主要的研究方向是通过在扫描电镜(Scanning Electron Microscope,SEM)内搭建一套纳米机器人操作系统，利用SEM下的单操作手或双操作手来完成。由于扫描电镜拍摄出来的图像是二维平面的，在进行三维纳米器件的操作和组装时，丢失了三维空间中的深度信息，这样给操作人员带来了诸多的不便；同时，在操作的过程中，也增加了损坏器件的风险。因此计算三维空间中的深度信息具有重要的意义。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种计算基于扫描电镜的双探测器三维成像深度的方法及系统，其结合SEM内部的双探测器拍摄图像，基于图像计算出图像的深度，不仅可以大大降低操作的难度，节省大量的时间，而且能够显著提高装配精度和效率。

为解决上述技术问题，本发明提供一种计算基于扫描电镜的双探测器三维成像深度的方法，包括以下步骤：

S10：标定扫描电镜SEM的参数，其中所述扫描电镜SEM具有第一探测器和第二探测器；

S20：使用标定后的扫描电镜SEM拍摄样品图像，得到由第一探测器拍摄的第一原始图像和由第二探测器拍摄的第二原始图像，采用高斯滤波器对第一原始图像和第二原始图像进行去噪处理，并采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习，增强图像质量和分辨率，输出增强后的第一图像和第二图像；

S30：分别提取第一图像和第二图像的特征点，得到第一特征点和第二特征点，并对所述第一特征点和第二特征点进行匹配；

S40：采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上，得到极线水平校准后的第一校准图像和第二校准图像；

S50：计算所述第一校准图像和第二校准图像的视差，得到视差结果；

S60：根据视差结果和两个探测器的夹角建立视差-深度的映射关系，根据视差-深度的映射关系计算得到深度信息。

在本发明的一个实施例中，在S10中，标定扫描电镜参数的方法包括：

对扫描电镜进行标定时选用模型为其中X_p(u,v)表示成像平面上的投影点坐标，P_x、P_y分别表示模型的内在参数；

对所述模型进行修正，得到修正后的模型为其中δ_u和δ_v分别表示径向畸变和切向畸变，其表达式为其中，k₁,k₂,…k_n分别表示不同的失真系数，r,的表达式为