[发明专利]一种人机交互式野外果蔬采收机器人系统及其采收方法

权利要求书

1.一种人机交互式野外果蔬采收机器人系统，其特征在于，所述系统包括图像采集装置、机械手装置、机器人移动平台、果蔬收拣装置、主控设备：

所述图像采集装置：用于机器人控制运动后果蔬图像的实时获取；

所述机械手装置：用于根据人机交互结果获取的采收目标位置信息进行抓取分离；

所述机器人移动平台：用于在野外环境下的控制运动；

所述果蔬收拣装置：用于负责果蔬采收后回置于收拣篮框中；

所述主控设备：集成了人机交互界面和控制界面，用于对整个系统进行控制；

所述机械手装置包括4个4自由度机械臂，两两分别置于移动平台的轮侧；机械臂的第一个自由度为横移自由度，用于机械手沿着导轨横轴移动；第二个自由度为旋转自由度，用来旋转移动后两个自由度机械臂；第三个自由度为升降自由度，起纵向抬升机械手的作用；第四个自由度为直动自由度，连接末端执行器直动采收目标果蔬；

所述机械手末端执行器夹持中心加装有反射型激光测距仪，用于目标果蔬深度信息的获取；

所述果蔬收拣装置由机械臂直动关节始端固装的果蔬收拣索道、车体驾驶舱下方的果蔬收拣传送带以及车体前后方的果蔬收拣篮框组成；果蔬收拣索道紧接相应传送带；传送带有两条，分别负责车体两轮侧机械手所采收果蔬的前后方传送；果蔬收拣篮框上边沿水平紧贴传送带，同时附加有柔性衬垫，以避免送入的果蔬损伤，使其卖相不佳；

人机交互界面显示所述图像采集装置实时采集的果蔬图像，工作人员通过触摸笔手动点取要采收的目标果蔬；

所述主控设备包含两块人机交互触摸屏，每一块负责一轮侧两机械手果蔬采收的人机交互，其中左半面目标果蔬由轮侧左方机械手采收，右半面目标果蔬由轮侧右方机械手采收；所述主控设备能够自动记录目标果疏的二维图像坐标和左右半面的点击顺序，并通过坐标转换将二维图像坐标换算为机器坐标控制各个机械手调整横移、升降机械臂对准目标果蔬，在此过程中，直动关节以低速向前推进；

所述图像采集装置包括两套单目彩色摄像机和智能控制云台设备；所述彩色摄像机安置在智能控制云台上，相当于人的眼睛，能够上下和左右移动旋转，与主控设备上的相应接口相连，实现两路图像采集；每套图像采集设备负责用于两机械手采收果蔬的图像实时获取。

2.如权利要求1所述的人机交互式野外果蔬采收机器人系统，其特征在于，所述机械手各个自由度采用磁性元件作为限位传感器，以保护设备安全；末端执行器夹具加装内含压力传感器的柔性衬垫，最大限度避免果蔬损伤；机械手各自由度伺服驱动器基于现场总线组网后与主控设备连接进行通信控制；末端执行器则通过串口与主控设备连接实现通信控制；机械手其他各个限位、压力传感器通过开关量数据采集卡与主控设备PCI相连。

3.如权利要求1所述的人机交互式野外果蔬采收机器人系统，其特征在于，所述机器人移动平台包括三角履带轮式车体、电源、动力控制设备、人员驾驶舱；电源用于提供系统能量；动力控制设备用于驱动所述三角履带轮式车体，收拣果蔬传送带的运转；人员驾驶舱用于工作人员控制机器人平台的移动以及果蔬采收的人机交互。

4.如权利要求3所述的人机交互式野外果蔬采收机器人系统，其特征在于，所述人员驾驶舱能够容纳2人操作，通过可开启前后门进入，其中1人负责移动车体的驾驶，果蔬采收时负责一侧两机械手果蔬采收目标信息的人机交互以及当前方果实收拣篮框满时的换取和整理；另外1人负责果蔬采收时另外一侧两机械手果蔬采收目标信息的人机交互以及当后方果实收拣篮框满时的换取和整理。

5.如权利要求1所述的人机交互式野外果蔬采收机器人系统，其特征在于，人机交互触摸屏显示界面除了人机交互果蔬界面还可以通过屏幕虚拟按钮切换平台控制界面，用于平台各功能的手动测试以及当摄像头云台或机械手初始位置变动后的图像坐标系和机械手坐标系的重新映射校准。

6.一种人机交互式野外果蔬采收机器人系统的果蔬采收方法，包括以下步骤：

步骤1：首先平台在工作人员的驾驶下进入种植园果蔬夹道内，两边轮侧机械手分别面向果蔬；系统启动调整好各个云台以及机械手的位置，在人机交互屏控制界面上完成图像坐标系和各个机械手坐标系的映射校准；切换人机交互界面，启动摄像头和车架下的果蔬传送带，果蔬图像实时显示在屏幕上；

步骤2：工作人员通过触摸笔点击人机交互界面果蔬图像上要采收的果蔬目标，主控设备同时自动记录目标果实的二维图像坐标和左右半面的点击顺序；

步骤3：系统通过坐标转换换算为机器坐标控制各个机械手调整横移、升降机械臂对准第一个目标果蔬，在此过程中，直动关节以低速向前推进；

步骤:4：系统启动各个机械手末端执行器夹持中心的激光测距仪，获取将要进行采收的果蔬深度信息，随后直动关节以高速行进至所测深度距离后，末端执行器夹持目标果蔬；

步骤5：直动关节回程，打开末端执行器，目标果蔬落入果蔬收拣索道，经过缓冲之后，滚入传送带，最后被送入到果蔬收拣篮框内；

步骤6:在上一果蔬落入收拣索道的同时，机械手根据步骤2记录的人机交互采收记录信息，重复执行步骤3-步骤5；

步骤7:当采集图像中的果蔬采收完之后，工作人员驾驶平台移动至合适位置，重复执行步骤2-步骤6。