[发明专利]一种集手眼脑于一体的品质管控方法及其系统

权利要求书

1.一种集手眼脑于一体的品质管控方法，其特征在于，适用于包括机械臂、光源、视觉传感器和服务器的系统中，方法包括如下：

机械臂固定待检测产品，按照预设轨迹在空间内作轨迹运动，构成检测空间；

在所述检测空间周围设置有多个光源以及多个视觉传感器，多个所述视觉传感器采集所述待检测产品在所述检测空间内被多个所述光源照射时的光学信息，并将所述光学信息反馈给所述服务器；

基于深度学习网络，利用预训练后的所述服务器根据所述光学信息判断所述待检测产品是否存在缺陷。

2.根据权利要求1所述的方法，其特征在于，所述预设轨迹的获取过程包括：

获取经过检测后不存在缺陷的样本产品；

通过所述机械臂固定所述样本产品，设置第一轨迹使所述样本产品跟随所述机械臂在轨迹空间内作轨迹运动，构建第一检测空间；

在所述第一检测空间周围设置多个光源和多个所述视觉传感器；

多个所述视觉传感器采集所述样本产品在所述检测空间内被多个所述光源照射时的光学信息，并将所述光学信息反馈给服务器；

根据所述光学信息调整所述光源的位置、所述视觉传感器的位置和所述第一轨迹，直至满足预设条件后，固定光源的位置和视觉传感器的位置，将满足预设条件的第一轨迹作为预设轨迹。

3.根据权利要求2所述的方法，其特征在于，所述预训练包括：

获取满足所述预设条件时的光学信息，并作为期望光学信息；

按照视觉传感器的位置对所述期望光学信息进行编号，将所述期望光学信息和对应的编号存储在所述服务器中；

“基于深度学习网络，利用预训练后的所述服务器根据所述光学信息判断所述待检测产品是否存在缺陷”具体包括：

所述服务器按照视觉传感器的位置对所述光学信息进行编号；

基于深度学习网络，逐一对比相同编号下的所述光学信息和所述期望光学信息，若存在差异，则所述待检测产品存在缺陷。

4.根据权利要求2所述的方法，其特征在于，所述检测空间为二维空间；

所述光源和所述视觉传感器固定在设置曲面支架上

所述曲面支架设置在所述检测空间的上方。

5.根据权利要求2所述的方法，其特征在于，所述检测空间为三维空间；

所述光源和所述视觉传感器固定在设置球状支架上；

所述球状支架覆盖在所述检测空间周围。

6.根据权利要求2所述的方法，其特征在于，所述服务器根据所述光学信息构建出所述待检测产品的三维模型，具体包括：

通过深度学习网络提取所述光学信息的特征；

通过单应性映射将所述特征投影到同一个参考视角，构建出不同参考视角之间的匹配误差；

根据所述匹配误差预测在所述参考视角下的深度图，融合各参考视角下的深度图构建出所述待检测产品的三维模型。

7.根据权利要求3所述的方法，其特征在于，“逐一对比相同编号下的所述光学信息和所述期望光学信息”具体包括：

对所述光学信息和所述期望光学信息进行自适应阈值分割，并对区域轮廓进行提取优化；

通过全局几何特征描述计算所述区域的特征描述，获取所述光学信息特征点集和所述期望光学信息特征点集；

基于深度学习网络构建评估模型，通过所述评估模型评估所述光学信息特征点集和所述期望光学信息特征点集，获取评估结果；

根据所述评估结果判断所述光学信息和所述期望光学信息是否存在差异。

8.一种集手眼脑于一体的品质管控系统，其特征在于，包括：

运动单元：用于通过机械臂固定待检测产品，按照预设轨迹在空间内作轨迹运动，构成检测空间；

视觉单元：包括光源和视觉传感器，用于在所述检测空间周围设置有多个光源以及多个视觉传感器，多个所述视觉传感器采集所述待检测产品在所述检测空间内被多个所述光源照射时的光学信息，并将所述光学信息反馈给预设的服务器；

处理单元：用于基于深度学习网络，利用预训练后的所述服务器根据所述光学信息判断所述待检测产品是否存在缺陷。