[发明专利]一种散乱工件的识别标注方法、系统和装置

说明书

本申请涉及一种散乱工件的识别标注方法、系统和装置，其中，该方法包括：通过相机采集待采集批次中当前工件的实际点云图和工件位姿矩阵，根据相机的内参矩阵和外参矩阵构建虚拟相机模型，根据当前工件的工件位姿矩阵和模板工件的模板点云数据，计算出在虚拟相机模型下的模板点云投影，根据模板点云投影计算得到模板深度图，对比实际点云图和模板深度图，确定当前工件与模板工件是否匹配，若匹配，则对当前工件进行标注，重复上述步骤完成待采集批次中所有工件的标注，通过本申请，解决了工件的识别标注中存在的效率低和准确率低的问题，实现了基于工件模板进行深度图信息的匹配，缩短了工件识别标注所需要的时间，同时提高了识别标注的准确率。

技术领域

本申请涉及计算机视觉领域，特别是涉及一种散乱工件的识别标注方法、系统和装置。

背景技术

目前，在机器人自动化装配的过程中，对工件的识别标注和工件三维点云位姿确定是机器人进行夹取等相关操作的前提。当机器人搭载相机拍摄到一帧工件图像时，通常需要人为手动对图像上拍摄到的所有工件进行一一标注，或是采用像素识别相关算法来识别出图像上包含的完整工件。

上述标注方法均存在一定问题：人工标注方法由于需要人工肉眼观察，其标注的速度较慢。像素识别方法虽然能够较快的识别出图像中出现的完整工件，但是当工件之间存在遮挡或重叠的情况时，像素识别的准确率就会大大降低，无法对被遮挡或不完整的工件进行很好的识别。并且在大批次数据采集的过程中，相机每拍一张图像，都需要对图像中出现的所有工件进行识别与标注，这样对于出现在多张图像中的工件来说，会造成大批量的重复标注，降低整体工作效率。

目前针对相关技术中工件的识别标注存在效率低和准确率低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种散乱工件的识别标注方法、系统和装置，以至少解决相关技术中工件的识别标注存在效率低和准确率低的问题。

第一方面，本申请实施例提供了一种散乱工件的识别标注方法，所述方法包括：

将待采集批次中的工件依次摆放在相机视野内，重复执行预设步骤，直到将所述待采集批次中的所有工件都识别标注出来；

所述预设步骤包括：

通过所述相机采集所述待采集批次中当前工件的实际点云图和工件位姿矩阵；

根据所述相机的内参矩阵和外参矩阵构建虚拟相机模型；

根据所述当前工件的工件位姿矩阵和模板工件的模板点云数据，计算出在所述虚拟相机模型下的模板点云投影；

根据所述模板点云投影计算得到模板深度图，对比所述实际点云图和所述模板深度图，确定所述当前工件与所述模板工件是否匹配，若匹配，则对所述当前工件进行标注。

在其中一些实施例中，对比所述实际点云图和所述模板深度图，确定所述当前工件与所述模板工件是否匹配包括：

创建与所述模板深度图相同大小的mask图像，所述mask图像中像素点的值默认为第一数值；

对所述模板深度图中的每个像素值进行遍历，将所述像素值与所述实际点云图对应位置的像素点的深度值进行对比；

若所述像素值与所述深度值的差值小于预设阈值，则将所述mask图像上对应像素点的值设置为第二数值；

根据所述mask图像中值为所述第二数值的像素点，确定所述当前工件与所述模板工件是否匹配。

在其中一些实施例中，根据所述模板点云投影得到模板深度图包括：

通过OpenGL中的glReadPixels函数读取所述模板点云投影中每个像素点对应坐标的深度值，将所有像素点的深度值信息保存成深度图的格式，得到所述模板工件的模板深度图。