[发明专利]一种采摘机器人果实视觉协同搜索方法

说明书

本发明公开了一种采摘机器人果实视觉协同搜索方法，该方法采用大、小双视场视觉采集系统，其中大视场摄像机安置在机器人移动平台上，用来对果园果树进行全局成像，并对图像进行显著性区域提取，而后利用目标似然度来衡量果实似然目标，去除小区域后由此确定大视场图像中果实目标的大致区域，同时引导机器人靠近果树；小视场摄像机安置在机器人末端执行器所在机械臂上，建立大、小视场图像坐标系，视场图像坐标系与世界坐标系之间的映射关系；在从大视场当前图像中获得的果实目标搜索区域信息以及坐标系映射关系基础上，小视场摄像机区域成像，以此协同搜索果实。该方法类同人眼目标搜索，可避免机器人盲目无序搜索，为后续果实精确识别奠定基础。

技术领域

本发明涉及采摘机器人目标搜索技术领域，尤其是对果实的视觉搜索。

背景技术

在采摘机器人进入果园作业时，其工作的首要任务是果实的搜索。所谓果实搜索是指采摘机器人工作过程中搜寻果实区域以待进一步识别的过程。在国内外现有文献中，果实搜索方法只在采摘机器人其他相关技术文献方面有所涉及，比如Jiménez AR等人在果实识别研究中通过红外激光测距传感器来搜索检测非结构环境中的球形目标物体，但该方法实时性差，成本高。李占坤等人在实时避障算法研究中，基于单目视觉设定了四种不同路径用来搜索果实，但由于路径固定，适应性欠佳。总得来说目前还没有一个较为适当的果实搜索方法，使得采摘机器人能够实现果实的有效搜索进而进一步识别。

发明内容

本发明的目的是：提供一种采摘机器人果实搜索方法，使得采摘机器人通过大、小视觉图像处理系统由粗到精协同逐步搜索果实，为进一步对其精确识别定位奠定基础。实现本发明的技术方案包括如下内容：

(1)采用大、小双视场视觉采集系统，其中大视场摄像机安置在采摘机器人移动平台上，可水平左右160度、垂直上下36度旋转，用来对果树进行全局成像，引导机器人靠近果树；小视场摄像机以Eye-in-hand方式固定在采摘机器人的末端执行器所在机械臂上，用于对所靠近果树区域成像。

(2)大视场摄像机作业时旋转搜寻果园果树果实全域的垂直左方或者右方边界，以图像中果实全域左方或者右方边界不变为基准，以距离中心水平线最近果实区域的大小变化为衡量，引导机器人靠近果树。

(3)大视场图像果实信息的获取采用基于DCT系数稀疏编码的方法进行显著性区域提取，而后以目标似然度来衡量果实似然目标，似然目标通过计算显著图像与视场图像的颜色直方图反向投影图像计算得出，去除小区域后由此确定大视场图像中果实目标的大致区域。

(4)机器人靠近果树后，对大视场当前图像中的大致果实区域进行编号，并将编号结果连同各区域所包含范围信息传输给控制系统。

(5)小视场摄像机在从大视场当前图像中获得的果实目标搜索区域信息以及坐标系映射关系基础上，以当前小视场摄像机位置为起点，机械臂运动代价最小为准则由控制系统引导小视场摄像机区域成像，从而完成果实的协同搜索。

(6)引导小视场成像还需建立小视场图像坐标系与大视场图像坐标系，大、小视场图像坐标系与世界坐标系之间的映射关系。

本发明的有益效果：对于果实采摘机器人来说，该发明方法能够引导机器人有的放矢进入果园，避免盲目无序地搜寻果实，节约整体采摘时间，为推动果实采摘机器人的实用化起到重要作用。

附图说明

图1为采摘机器人果实视觉协同示意流程图；

图2大视场图像采集示例图；

图3大视场图像所选边界及衡量区域示意图；

图4小视场图像采集示例图。

具体实施方式

下面结合附图对本发明的实施方式做进一步的描述。本发明以苹果为例进行说明，但本发明同样适用于其他果实。