[发明专利]一种基于图像处理的机械臂抓取系统及方法

说明书

本发明提供了一种基于图像处理的机械臂抓取系统，包括机械臂模块、轨迹仿真模块以及图像处理模块，轨迹仿真模块包括根据机械臂参数进行机械臂轨迹优化的轨迹优化单元，以及仿真验证所优化的机械臂轨迹的上位机仿真单元；图像处理模块包括用于识别HSV分割类目标和非HSV分割类目标的目标识别单元，所述非HSV分割类目标包括特征点特征类目标、OCR特征类目标、人工视觉特征类目标以及难识别类目标。本发明的机械臂抓取系统，具有适用范围广、目标识别及追踪质量高、运动效率高、易于实现学习升级、应用场景丰富的特点。

技术领域

本申请涉及智能机器人领域，具体但不排他地，涉及一种基于图像处理的机械臂抓取系统及方法。

背景技术

基于图像处理的智能机械臂是一个应用前景广阔的行业，以静态或动态目标以及机械臂为研究对象，通过采集和处理目标图像对目标进行识别定位，通过目标追踪获取目标运动状态并进行机械臂运动方程求逆解得到机械臂转角，实现目标抓取。其中，基于图像处理的智能机械臂技术是工业目标抓取、目标检测、制造自动化的核心技术，是实现工业4.0的关键技术。近几年，基于图像处理的智能机械臂已经成为工业AGV(Automated GuidedVehicle)车辆、家居服务机器人、救援机器人、物流分拣机器人等领域的研究热点，受到了国内外众多领域的学者和工程师的关注。

然而，现有基于图像处理的智能机械臂技术存在复杂目标识别率低、复杂目标和背景干扰下追踪困难、机械臂运动效率低、用途单一、难以实现学习升级等缺点，缺乏功能完备的可视化的轨迹优化仿真平台。

发明内容

为了至少部分的解决上述已有技术存在的不足，本发明提供了一种基于图像处理的机械臂抓取系统及方法，具有适用范围广、目标识别及追踪质量高、运动效率高、易于实现学习升级、应用场景丰富的特点。

根据本发明的一方面，提供一种基于图像处理的机械臂抓取系统，包括机械臂模块、轨迹仿真模块以及图像处理模块，

所述机械臂模块包括图像采集单元、通信单元和控制单元；

所述轨迹仿真模块包括根据机械臂参数进行机械臂轨迹优化的轨迹优化单元，以及仿真验证所优化的机械臂轨迹的上位机仿真单元，

所述图像处理模块包括用于识别HSV分割类目标和非HSV分割类目标的目标识别单元，所述非HSV分割类目标包括特征点特征类目标、OCR特征类目标、人工视觉特征类目标以及难识别类目标；

其中，所述图像采集单元通过所述通信单元将其采集到的图像信息传送给所述目标识别单元，所述目标识别单元实现待抓取目标的识别定位，并将待抓取目标的位置信息通过所述通信单元传送给所述控制单元，所述控制单元进行双目视觉定位计算，得到待抓取目标相对机械臂的距离，并根据所述轨迹优化单元所优化的机械臂轨迹实现待抓取目标的抓取。

对于特征点特征类目标，所述目标识别单元采用ORB特征点提取、使用 BM匹配算法通过汉明距离阈值筛选特征点对、使用Ransac算法计算H矩阵并通过阈值滤波筛除离群点对、得到特征匹配点对，通过模板特征点匹配与聚类实现所述特征点特征类目标的识别定位。

对于难识别类目标，所述目标识别单元使用基于Scrapy的图像抓取引擎进行数据集下载，通过基于Caffe SSD的卷积神经网络进行目标识别训练，并通过Caffe SSD的卷积神经网络的前馈过程实现所述难识别类目标的识别定位。

进一步，所述基于Scrapy的图像抓取引擎可包括Python环境设置、 Scrapy框架设置、PyQT4环境配置、图像搜索及抓取程序，所述图像搜索及抓取程序包括Header请求包装、多线程文件下载程序、定时Proxy代理更新程序、水库抽样内容监控程序、Bloom Filter链接去重程序。