[发明专利]一种自动加工线鳖甲腹内黄油的视觉定位与钩切系统及其控制方法

权利要求书

1.一种自动加工线鳖甲腹内黄油的视觉定位与钩切系统，其特征在于，它包括五自由度机器人；所述五自由度机器人包括滚珠丝杠轴向移动装置、滚珠丝杠横向移动装置、蜗轮蜗杆装置、舵机和末端钩切执行器；

所述末端钩切执行器包括ZED双目摄像机、刀指固定座和刀指，所述末端钩切执行器通过步进电机控制刀指张开闭合来实现鳖甲腹内黄油的切取；所述末端钩切执行器借助于所述舵机实现360°旋转；

所述滚珠丝杠轴向移动装置用于控制所述末端钩切执行器沿垂直方向移动；所述滚珠丝杠横向移动装置用于控制滚珠丝杠轴向移动装置及末端钩切执行器横向移动；

所述五自由度机器人连接于机器人底座上，所述ZED双目摄像机与控制器的输入端相互连接，以使ZED双目摄像机捕捉到的自动加工生产线上的鳖甲腹内黄油的视觉信息通过网络传输给控制器，控制器与执行模块相连接从而指令所述末端钩切执行器到达黄油位置进行鳖甲腹内黄油的钩切和收集。

2.根据权利要求1所述的自动加工线鳖甲腹内黄油的视觉定位与钩切系统，其特征在于，所述ZED双目摄像机采集到的视觉信息数据包括黄油的三维空间位置数据、RGB值以及深度值。

3.根据权利要求2所述的自动加工线鳖甲腹内黄油的视觉定位与钩切系统，其特征在于，所述ZED双目摄像机固定安装在所述刀指固定座上；刀指固定座的一端固定于舵机法兰上，刀指固定座的另一端连接有刀指；所述刀指借助于步进电机的正反转控制张开闭合的大小。

4.根据权利要求3所述的自动加工线鳖甲腹内黄油的视觉定位与钩切系统，其特征在于，所述五自由度机器人安装在鳖甲自动化加工生产线上；所述蜗轮蜗杆装置、滚珠丝杠横向移动装置和滚珠丝杠轴向移动装置都各自配备电机来各自控制且独立运动；所述控制器用于储存和控制五自由度机器人的运动信息数据。

5.根据权利要求4所述的自动加工线鳖甲腹内黄油的视觉定位与钩切系统，其特征在于，所述末端钩切执行器为四爪式机械手，所述刀指上焊接有直径可扩的柔性仿生多片刀具，所述柔性仿生多片刀具其宽度设置为20～30mm，所述刀指数量为四个，相邻刀指之间两两相隔90°且均匀排列在刀指固定座上。

6.一种自动加工线鳖甲腹内黄油的视觉定位与钩切系统的控制方法，其特征在于，包括权利要求1-5中任一项所述的自动加工线鳖甲腹内黄油的视觉定位与钩切系统，其控制步骤如下：

步骤一、对ZED双目摄像机进行标定，获得相机的内参数矩阵、畸变系数和重投影矩阵数据，从而校正左右视图并进行坐标转换；

步骤二、对五自由度机器人和ZED双目摄像机进行手眼标定，得到相机坐标系和机器人坐标系的旋转矩阵和平移矩阵；

步骤三、预先采集大量鳖甲腹黄油RGB图像，构建鳖甲腹黄油RGB图像样本库；

步骤四、使用图像标注工具Labelme手动标注图像中的鳖甲腹黄油，制作鳖甲腹黄油RGB图像数据集并转化为Tfrecord格式文件；

步骤五、将鳖甲腹黄油RGB图像数据集按6：2：2的比例划分为训练集、验证集和测试集；

步骤六、使用基于全卷积神经网络的语义分割模型DeeplabV3进行训练，得到鳖甲腹黄油的语义分割模型；

步骤七、将五自由度机器人固定在自动加工生产线上，并调整姿态使ZED双目摄像机正对自动加工生产线；

步骤八、打开ZED双目摄像机实时获取鳖甲腹RGB图像，调用预先训练好的鳖甲腹黄油的语义分割模型实时分割鳖甲腹黄油区域，并进行局部立体匹配计算鳖甲腹黄油点云信息；

步骤九、根据鳖甲腹黄油点云信息计算鳖甲腹黄油中心位置坐标；

步骤十、根据计算得到的鳖甲腹黄油的中心位置坐标控制末端钩切执行器移动到鳖甲腹黄油的垂直正上方，然后末端钩切执行器下降并打开完成钩切动作；

步骤十一、钩切完成后，末端钩切执行器上升并回到黄油收集箱上方，然后下降并打开，将鳖甲腹黄油放置到黄油收集箱里；

步骤十二、机器人转回生产线上方，开始下一轮视觉识别到其他鳖甲腹内的黄油位置，反复循环进行上述步骤，直至自动化加工生产线停止黄油切取及收集工作。