[发明专利]基于机器人视觉的物品表面涂胶方法、装置、电子设备和存储介质

说明书

本申请公开了一种基于机器人视觉的物品表面涂胶方法、基于机器人视觉的物品表面涂胶装置、电子设备和存储介质。本申请的基于机器人视觉的物品表面涂胶方法包括：获取物品的3D点云信息；基于所述3D点云信息以及预置的3D图像模板信息，确定物品的3D图像信息；将所述3D图像信息映射为2D图像信息；基于所述2D图像信息生成2D涂胶轨迹点；将所述2D涂胶轨迹点映射为3D涂胶轨迹点；基于映射的3D涂胶轨迹点进行涂胶。本发明通过匹配的方法获取物品完整的3D点云信息，用完整的3D点云信息代替不完整的3D点云信息，进行2D图像层面的图像处理操作获取2D涂胶轨迹点后，再转化为3D涂胶轨迹点的方法，使得相机即便获取到不完整的点云信息，也能够基于物品轮廓求取涂胶轨迹点。本发明还包括一种基于机器人视觉的物品3D图像信息获取方法，该方法基于3D轮廓信息执行物品匹配的方法，与传统的方法相比，该方法能够在不损失匹配准确性的前提下，大大提高匹配的效率。

技术领域

本申请涉及B25智能机器人领域，更具体而言，特别涉及一种基于机器人视觉的物品表面涂胶方法、基于机器人视觉的物品表面涂胶装置、电子设备和存储介质。

背景技术

目前，随着智能程控机器人的广泛普及，已经能够借助智能程控机器人实现在物体表面执行涂胶的操作。现有技术在获取物品的完整点云信息后，提取物体的轮廓，并根据轮廓求取物体的轨迹点或者提前示教出不同型号的物品的轨迹点，然后在获取物品的轮廓后，根据物品放置形态和来料位置，调用该提前示教好的轨迹点。上述两种方式都需要获取物品完整的点云信息，然而在工业场景中，光照条件复杂多变，玻璃材质也各不相同，导致使用深度相机采集点云时，往往会存在较为严重的点云缺失情况，特别是当点云不完整以至于导致物品轮廓点云缺失时，无法根据轮廓点云求取正确的轨迹点，进而出现涂胶失败的问题。

发明内容

鉴于上述问题，提出了本发明以便克服上述问题或者至少部分地解决上述问题。具体地，本发明的创新之一在于，为了克服获取的物品点云信息不完整而导致无法正确获取机器人涂胶轨迹点的问题，申请人提出了一种通过匹配的方法获取物品完整的3D点云信息，用完整的3D点云信息代替不完整的3D点云信息，进行2D图像层面的图像处理操作获取2D涂胶轨迹点后，再转化为3D涂胶轨迹点的方法，该方法中获取物品的3D点云后，并不直接使用该点云信息求取涂胶轨迹点，从而解决了上述技术问题，使得无论获取到怎样的点云信息，都能够基于物品轮廓求取涂胶轨迹点。

本发明的创新之二在于，申请人发现现有的3D图像匹配算法，因为需要对过于多的像素点进行计算，因而匹配效率不够高，而2D图像匹配算法，又难以获得物品准确的位姿信息。因此申请人基于机器人涂胶这一应用场景的特点，开发了一种基于3D轮廓信息执行物品匹配的方法，与传统的方法相比，该方法能够在不损失匹配准确性的前提下，大大提高匹配的效率。

本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。

具体地，本申请提供一种基于机器人视觉的物品表面涂胶方法、基于机器人视觉的物品表面涂胶装置、电子设备和存储介质。

本申请的实施方式的基于机器人视觉的物品表面涂胶方法包括：

获取物品的3D点云信息；

基于所述3D点云信息以及预置的3D图像模板信息，确定物品的3D图像信息；

将所述3D图像信息映射为2D图像信息；

基于所述2D图像信息生成2D涂胶轨迹点；

将所述2D涂胶轨迹点映射为3D涂胶轨迹点；

基于映射的3D涂胶轨迹点进行涂胶。

在某些实施方式中，所述3D点云信息包括3D轮廓点云，所述获取物品的3D点云信息，包括：

将物品3D点云映射为2D图像；