[发明专利]一种基于视场拼接和三维重建的操作辅助装置及方法

说明书

本发明提出一种基于视场拼接和三维重建的操作辅助装置及方法，包括基于多传感器的信息处理系统及视场拼接、三维重建和避碰预警等模块。本发明利用多传感器视觉系统进行周围环境和障碍物图像信息的采集，通过视场拼接、三维重建和避碰预警等模块进行信息处理，实现模糊化三维重建、包围盒构建和碰撞检测功能，并在显示系统进行二维和三维显示，实时性好，更加直观、安全。

技术领域

本发明属于计算机视觉及图像处理领域，特别涉及一种基于视场拼接和三维重建的操作辅助装置及方法。

背景技术

机械臂尤其是大型工程机械臂在操作过程中，由于机械臂臂展大、末端处视野不明确，使得机械臂操作性和安全性差，需要辅助人员在机械臂末端处进行实时观察、人工预警，不仅效率低下，且在空间狭小、不易人工观察的场所，机械臂容易与周围环境发生碰撞。

目前市面上还没有应用于大型工程机械臂操作的辅助设备，一些工程机械通过附加反射镜和摄像头对机械臂及周围环境的相对关系进行观察、指导操作人员进行操作，同时通过附加防碰撞传感器和基于力矩差、电流差、压力差等方法进行碰撞检测，保护机械臂及操作人员。但反射镜和摄像头仅能提供单一维度的图像信息，无法准确反映机械臂与周围环境的距离信息，且单一摄像头视场狭小受限、多个摄像头对安装位置要求较高，附加防碰撞传感器方法过于复杂、价格昂贵。且为碰撞后响应机制，无法在发生碰撞时提前或同步检测到这个碰撞，不能达到碰撞预警效果。

随着计算机视觉技术的发展，基于视觉分析的防碰撞系统越来越多的受到人们的重视，专利CN201570127U提出了一种基于视觉分析的碰撞预警装置，通过视觉传感器监控车辆前进方向的车辆，测算车速并结合本车相关状态进行碰撞预测。但是上述专利公开的碰撞预警装置不能直观的提供周围环境信息，不能为操作人员直观展示机械臂与周围环境的相对位置关系，无法满足机械臂的可视化辅助操作、碰撞预检测和空间位姿的实时显示需求。

发明内容

针对上述问题，本发明提出一种基于视场拼接和三维重建的操作辅助装置及方法，所述装置包括：

图像特征信息采集单元，用于采集图像特征信息；

图像特征信息处理单元，用于对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；

臂架、障碍物包围盒位姿信息确定单元，用于根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；

防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。

进一步的，所述图像特征信息处理单元可为微处理器，所述微处理器上集成有视场拼接、三维重建和避碰预警模块，所述图像特征信息处理单元用于为机械臂尤其是大型工程机械臂操作过程中提供多维度的辅助视角和碰撞预警。

进一步的，所述装置除为机械臂的操作提供多维度环境信息显示、碰撞检测预警外，经过调整后还适用于底盘车、工程机械等。

进一步的，所述装置还包括：

图像特征信息采集单元，用于采集各种工况下的周围环境和障碍物图像信息；

图像特征信息预处理单元，用于对图像特征信息进行预处理；

三维重建处理单元，用于将所述预处理后的图像信息进行模糊化三维重建处理；

臂架、障碍物包围盒位姿信息确定单元，用于得到固定基座和活动工况下全局坐标系下的障碍物包围盒的位姿信息和臂架包围盒的位姿信息；

显示单元，用于显示广域大视角的二维拼图以及障碍物以及臂架的三维包围盒信息，直观地显示多维度的环境信息；

防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。