[发明专利]一种基于图像处理的机械臂抓取系统及方法

权利要求书

1.一种基于图像处理的机械臂抓取系统，其特征在于，所述系统包括机械臂模块、轨迹仿真模块以及图像处理模块，

所述机械臂模块包括图像采集单元、通信单元和控制单元；

所述轨迹仿真模块包括根据机械臂参数进行机械臂轨迹优化的轨迹优化单元，以及仿真验证所优化的机械臂轨迹的上位机仿真单元，

所述图像处理模块包括用于识别HSV分割类目标和非HSV分割类目标的目标识别单元，所述非HSV分割类目标包括特征点特征类目标、OCR特征类目标、人工视觉特征类目标以及难识别类目标；

其中，所述图像采集单元通过所述通信单元将其采集到的图像信息传送给所述目标识别单元，所述目标识别单元实现待抓取目标的识别定位，并将待抓取目标的位置信息通过所述通信单元传送给所述控制单元，所述控制单元进行双目视觉定位计算，得到待抓取目标相对机械臂的距离，并根据所述轨迹优化单元所优化的机械臂轨迹实现待抓取目标的抓取，

所述轨迹优化单元使用机械臂运动时间的最小值与机械臂转角的最小值的和的倒数作为代价函数，通过遗传算法对所述代价函数进行求解得到机械臂转角的最优解；将离散的机械臂转角的最优解和待抓取目标相对机械臂的距离通过BP神经网络可视化平台进行网络训练，建立距离-转角插值表。

2.如权利要求1所述的系统，其特征在于，

对于特征点特征类目标，所述目标识别单元采用ORB特征点提取、使用BM匹配算法通过汉明距离阈值筛选特征点对、使用Ransac算法计算H矩阵并通过阈值滤波筛除离群点对、得到特征匹配点对，通过模板特征点匹配与聚类实现所述特征点特征类目标的识别定位；

对于难识别类目标，所述目标识别单元使用基于Scrapy的图像抓取引擎进行数据集下载，通过基于Caffe SSD的卷积神经网络进行目标识别训练，并通过Caffe SSD的卷积神经网络的前馈过程实现所述难识别类目标的识别定位。

3.如权利要求2所述的系统，其特征在于，所述基于Scrapy的图像抓取引擎包括Python环境设置、Scrapy框架设置、PyQT4环境配置、图像搜索及抓取程序，所述图像搜索及抓取程序包括Header请求包装、多线程文件下载程序、定时Proxy代理更新程序、水库抽样内容监控程序、Bloom Filter链接去重程序。

4.如权利要求1所述的系统，其特征在于，所述图像处理模块包括目标追踪单元，其中，

当不排除背景干扰时，所述目标追踪单元对于简单颜色特征类目标使用LK光流法进行目标追踪；对于亮度变化大、运动距离大的目标，使用Meanshift进行追踪，结合上一帧的目标速度预测缩小目标追踪区域；

当排除背景干扰时，所述目标追踪单元使用追踪初始帧进行背景建模，通过帧差法减少背景的干扰。

5.如权利要求1所述的系统，其特征在于，所述BP神经网络可视化平台包括Python环境设置、Matplotlib库配置、PyGame配置、BP神经网络程序、可视化程序，所述BP神经网络程序包括参数配置程序、前馈计算程序、反向传播误差更新程序、JSON和TXT格式模型持久化和加载程序，所述可视化程序包括网络拓扑结构可视化程序、网络参数及权值可视化程序。

6.如权利要求1所述的系统，其特征在于，对于HSV分割类目标，所述机械臂模块的控制单元通过目标的形状中心进行双目视觉定位计算，得到待抓取目标相对机械臂距离；对于非HSV分割类目标，所述控制单元通过特征点匹配进行双目视觉定位计算，得到待抓取目标相对机械臂距离。