[发明专利]一种基于视场拼接和三维重建的操作辅助装置及方法

权利要求书

1.一种基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置包括：

图像特征信息采集单元，用于采集图像特征信息；

图像特征信息处理单元，用于对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；

臂架、障碍物包围盒位姿信息确定单元，用于根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；

防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。

2.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息处理单元可为微处理器，所述微处理器上集成有视场拼接、三维重建和避碰预警模块，所述图像特征信息处理单元用于为机械臂尤其是大型工程机械臂操作过程中提供多维度的辅助视角和碰撞预警。

3.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置除为机械臂的操作提供多维度环境信息显示、碰撞检测预警外，经过调整后还适用于底盘车、工程机械。

4.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置还包括：

图像特征信息采集单元，用于采集各种工况下的周围环境和障碍物图像信息；

图像特征信息预处理单元，用于对图像特征信息进行预处理；

三维重建处理单元，用于将所述预处理后的图像信息进行模糊化三维重建处理；

臂架、障碍物包围盒位姿信息确定单元，用于得到固定基座和活动工况下全局坐标系下的障碍物包围盒的位姿信息和臂架包围盒的位姿信息；

显示单元，用于显示广域大视角的二维拼图以及障碍物以及臂架的三维包围盒信息，直观地显示多维度的环境信息；

防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。

5.根据权利要求1或4所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息采集单元可为多传感器视觉系统，所述多传感器视觉系统包括双目相机和辅助标定装置，用于采集周围环境和障碍物的图像信息。

6.根据权利要求4所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息预处理单元为视场拼接模块，用于对所述图像特征信息进行预处理；所述三维重建处理单元为三维重建模块，用于将所述预处理后的图像信息进行模糊化三维重建处理；所述防碰撞检测单元为避碰预警模块，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。

7.一种基于视场拼接和三维重建的操作辅助方法，其特征在于，所述方法包括以下步骤：

采集图像特征信息；

对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；

根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；

基于分离轴定理对臂架和障碍物包围盒位姿信息进行防碰撞检测。