[发明专利]一种基于深度视觉信息的运动车斗自动识别与定位方法

说明书

本发明涉及一种基于深度视觉信息的运动车斗自动识别与定位方法，包含如下步骤：S1：解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；S3：将点云数据进行降采样处理；S4：将相机坐标系下的点云数据转换为世界坐标系下的点云数据；S5：对转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面；S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，并计算其角点。可以自动识别拖车的车斗的外轮廓，及其相对机械臂喷头的角度和位置，自动控制喷头高度和角度实时做出相应的调整。

技术领域

本发明涉及机器视觉与农业自动化领域，具体涉及一种基于深度视觉信息对运动中的农业运载拖车车斗自动识别与定位方法。

背景技术

青饲机是一种常用农业收获机械，主要用来收获青绿牧草、燕麦、甜菜茎叶等低矮青饲作物。青饲机大体由前方割台、机身喂入装置及切碎抛送装置组成。前方割台为一个装有多把甩刀旋转切碎器用于高速收割作物，机身收集作物并将其切碎，然后由抛送装置抛出。抛送装置的主要组成部分是可控制角度和高度的二自由度机械臂结构。青饲机抛出的物料由后方或侧方同向行驶的拖车承接，完成物料填充，拖车装载足量后再替换空车，以保证收获机持续工作，提升工作效率。拖车一般由牵引车体的车头和载物使用的高大矩形车斗组成，车斗用于承接青饲机抛出的饲料。目前，我国青饲机的物料填充过程仍为人工操作，需要一名操作员通过人眼识别拖车车斗的位置，然后手动控制机械臂喷头的高度和角度，存在喷射不精准，反应不及时，物料浪费，人力劳顿等各种缺陷。

视觉是人类获取环境信息的主要途径。机器视觉用机器代替人眼获取图像，用计算机模拟人脑处理信息，从图片中提取出所需信息让机器有效感知客观世界。机器视觉主要分为二维视觉及三维视觉技术，二维视觉主要应用于安防、表面检测等需要获取物体平面信息的领域。三维视觉通过分析一幅或几幅相关图片的信息或采用激光测距等技术，来获取物体的三维特征，主要用于导航、搬运、装配等需要获取环境空间状态的领域。

机器视觉的引入具有以下优势：机器视觉相对人眼观察具有更高的可靠性；机器视觉依靠电脑处理数据比人工更精确；机器视觉可以适应更复杂、高危险的工作环境。

目前针对运动物体检测的方法主要有帧间差分、背景差分、光流法等较为成熟的算法。此类方法用于在连续的视频图像中检测出相对环境运动的物体，并描绘出轮廓。也有升级后的相关算法可排除部分动态背景的干扰，定位目标物体。以上方法从二维视觉的角度解决运动物体识别问题，此类常规方法对本发明研究对象不适用。本发明并非只定位运动的拖车，而是需要找出拖车车斗相对于青饲机抛送装置的具体位置。因此本发明引入深度视觉信息实现车斗定位。

深度视觉信息来源于深度图像，这是一种2.5D的图像。作为图像深度图同样以矩阵的方式进行存储，不同之处是它的各个像素点的像素值不代表亮度，它的含义是场景中某目标点到相机参考平面的距离。深度图像的获取技术分为四类：被动式和主动式，接触式与非接触式。被动式传感器接收场景发射或反射的光能量，形成该场景中光能量的分布函数，即灰度图像。主动式传感器向场景中物体发射能量束，然后接收目标场景反射的能量。接触式方法要求接触被测量物体或跟被测量的物体间隔距离很近。非接触式即为不需要与被测量物体接触。本发明使用的传感器为主动式非接触RGB-D相机。

发明内容

针对青饲机拖车车斗手动跟随方式存在的不足，本发明利用机器视觉技术提出了一种基于深度视觉信息对运动车斗自动识别与定位方法，可以自动识别拖车的车斗的外轮廓，及其相对机械臂喷头的角度和位置，进而可以自动控制喷头高度和角度实时做出相应的调整，实现物料自动填充。

本发明采用的技术方案如下：

本发明提供一种基于深度视觉信息对运动车斗自动识别与定位方法，该方法是基于包含一个固定在青饲机抛送物料的机械臂上的可输出深度视觉信息的RGB-D相机，相机安装角度朝向拖车车斗方向，其包含如下步骤：