[发明专利]基于线结构光与多任务级联卷积神经网络的三维涂胶检测

权利要求书

1.一种三维涂胶检测方法，其特征在于将线结构光与多任务级联卷积神经网络相结合，该方法包括：

第一步骤，系统标定，图像采集；

第二步骤，关键点和胶区的粗略定位；

第三步骤，关键点纠正；

第四步骤，关键点迭代优化；

第五步骤，三维恢复；

第六步骤，计算涂胶的宽度和高度；

所述第三步骤进一步包括：

关键点纠正，纠正关键点的粗定位坐标，假设纠正后的关键点坐标是K(x,y)，建立多目标优化模型的目标函数；

公式中，表示点K(x,y)与本图中粗定位关键点之间的距离；计算出另一图像中对应的粗定位关键点的极线，D_k-l表示点K(x,y)与此极线之间的距离；表示点K(x,y)与本图中以粗定位关键点为中心的3×H_l像素块内的灰度质心的距离；建立多目标优化的目标函数用来最小化D_k-l和因此，我们通过公式计算最大最小化模型下的最优结果，从而求出纠正的关键点坐标K(x,y)，其中I_width和I_Height分别为图像的宽度和高度。

2.如权利要求1所述的方法，所述第二步骤进一步包括：

利用三层级联卷积神经网络对结构光光带中的胶体区域，以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位，其中该三层卷积神经网络分别为P-net，R-net，O-net。

3.如权利要求1所述的方法，所述第四步骤进一步包括：

关键点迭代优化，保存本图像通过关键点纠正求得的纠正坐标，用于计算另一幅图像中的D_k-l，从而使另一幅图像中的关键点的纠正坐标精度更高，在左右图像中反复如此迭代，计算关键点的纠正的坐标，当其中一幅图中关键点的纠正坐标与其另一图像中的关键点的纠正坐标距离小于系统重投影误差时停止迭代；用此方法能够得到精确地关键点坐标；其中，D_k-l表示关键点K(x,y)与另一图像中对应的粗定位关键点的极线之间的距离。

4.如权利要求1所述的方法，所述第五步骤进一步包括：

三维恢复，空间任意点P在两个摄像机C₁与C₂上的图像点P₁与P₂已经从两个图像中分别检测出来；即已知P₁与P₂为空间同一点P的对应点；摄像机C₁与C₂的投影矩阵分别为M₁与M₂，于是有：其中，(u₁,v₁,1)与(u₂,v₂,1)分别为P₁与P₂点在各自图像中的图像齐次坐标；(X,Y,Z,1)为P点在世界坐标系下的齐次坐标；为m^k的第i行第j列元素；上述两式消去Z_c1与Z_c2得到关于X，Y，Z的四个线性方程：由于空间点P是O₁P₁与O₂P₂的交点，它必然同时满足上述方程组，因此可求出P点的坐标(X,Y,Z)；因为已经假设P₁与P₂点是空间同一点P的对应点，因此直线O₁P₁与O₂P₂一定相交，用最小二乘法求出P的三维点坐标(X,Y,Z)。

5.如权利要求1所述的方法，所述第六步骤进一步包括：

计算涂胶的宽度和高度；运用A，B，C，D，E点分别代表涂胶的顶点，左端点，右端点，左下端点和右下端点；M_bd和M_ce分别表示B，D连线的中点和C，E连线的中点；A点与由D点连接到E点的线之间的距离是胶水的高度；M_bd点与M_ce点之间的距离是胶水的宽度。