[发明专利]基于神经网络与点云配准的发动机叶片重构方法

权利要求书

1.一种基于神经网络与点云配准的发动机叶片重构方法，其特征在于包括以下步骤：

步骤一、叶片初始彩色图像与深度图像的采集；使用Kinect2.0图像采集设备，分别采集发动机叶片多组彩色图像和深度图像；使用Kinect For Windows SDK软件进行编程，获得叶片在空间坐标系中具有颜色信息的三维坐标；

步骤二、对彩色图像和深度图像进行处理，生成初始叶片3D点云；对已采集的彩色图像、深度图像预处理，并将彩色对齐到深度图像，通过坐标变换，将深度图像的像素转化为三维空间坐标得到初始叶片3D点云，坐标转化公式为：

其中，(u′，v′)为深度图像的任意一点像素D_d的坐标，(X_d，Y_d，Z_d)为点(u′，v′)对应的三维空间坐标转化后的三维点云坐标，(u_OIR，v_OIR)为红外相机的光心坐标，像素坐标(u′，v′)对应的深度值(f_UIR，f_VIR)为红外相机的焦距；

步骤三、初始点云滤波，获取滤波后叶片点云数据；使用KD-tree算法查找点P(x_i，y_j，z_i)，i＝1，2......，n的空间临近点Pj，j＝1，2......，n，求解空间点pi与其临近点的平均距离d_i，如果平均距离d_i在[μ-ασ，μ+ασ]范围之外，则该临近点被定义为离群噪声点，将其从点云集中去除；滤波公式为：

其中，μ为全局距离平均值，σ为标准差，d_i为平均距离，(x_i，y_i，z_i)为临近点坐标，(x_j，y_j，z_j)为空间点坐标，n为点云个数；

步骤四、采用神经网络对叶片数据进行点云配准；输入源点云P_S和目标点云P_T，通过共享MLP和对称池化函数，计算全局特征向量φ(P_S)和φ(P_T)；雅可比J用φ(P_T)计算一次；找到最优扭曲参数，用于逐步更新P_S的姿态，然后重新计算全局特征向量φ(P_S)，完成点云配准；

设P_T，P_S分别为模板和源点云；φ表示PointNet函数，φ：R^3×N→R^K，使得对于输入点云P∈R^3×N，φ(P)产生K维向量描述符；函数φ将多层感知器应用于P中的每个3D点，使得每个点的最终输出维数为K.然后应用对称合并函数，得到K维全局描述符；将源点云P_S与目标点云P_T配准的刚体变换G∈SE(3)；变换G由指数映射表示为：

G＝exp(∑_iξ_iT_i)ξ＝(ξ₁，ξ₂，...，ξ₆)^T， (3)

式中，T_i是指数映射的生成元，其扭曲参数为ξ∈R⁶；

三维点云配准的目的即为找到G，使得使用简写(·)来表示通过刚性变换G对P_S的变换；

为求解G使得迭代优化使用LK算法中的逆组合公式，通过颠倒目标点云和源点云的作用：在每次迭代时，解决对目标点云的增量扭曲更新，然后将此增量扭曲的逆，应用于源点云；通过这样做，执行雅可比计算，并且在优化开始之前仅执行一次；采用相反的框架实现目标：

φ(P_S)＝φ(G^-1·P_T) (4)

下一步是线性化式(4)的右侧：

定义G^-1＝exp(-∑iξ_iT_i).

将雅可比矩阵表示为其中J∈R^K×6；此时，计算J需要G的扭曲参数的PointNet函数分析梯度框架；选择使用随机梯度方法计算J；具体方法是，雅可比行列的每个列J_i通过有限差分梯度近似计算为

式中，t_i是扭曲参数ξ的微小扰动；

对于模板点云，J仅计算一次，对于雅可比行列的每个列J_i，仅第i个扭曲参数具有非零值t_i；t_i是无穷小的，因此J等于分析导数；

公式(5)中的ξ为ξ＝J⁺[φ(P_S)-φ(P_T)] (7)

其中，J⁺是J的Moore-Penrose逆；

扭曲参数，然后将源点云P_S更新为P_s←ΔG·P_SΔG＝exp(∑_iξ_iT_i) (8)

最终估计G_est是迭代循环期间计算的所有增量估计的乘积：

G_est＝ΔG_n·...·ΔG₁·ΔG₀ (9)

点云配准迭代的停止标准基于ΔG的最小阈值；

步骤五、纹理映射以及叶片表面的生成；

从点云配准后获得的完整点云数据中获取其三角网格曲面模型，进行网格平滑，将生成的粗糙叶片进行平滑处理；使用三角面三个顶点与三角形中心O距离值a、b、c，计算a/(a+b+c)，b/(a+b+c)，c/(a+b+c)得到权重值，通过颜色信息乘以权重值得到三角面的颜色信息；通过点云颜色映射，最终获得完整三维模型。