[发明专利]一种基于双目感知学习的加油加电智能动作的执行方法

说明书

本发明公开了一种基于双目感知学习的加油加电智能动作的执行方法，首先利用标定后的双目相机获取目标场景的多视角图像；分别输入到车型高效感知模块、区域决策模块和激光视觉感知再决策模块，得到油箱类目标或电源接入口在目标场景图像中准确的区域位置；计算出在基于机械手臂坐标系的世界坐标下油箱类目标或电源接入口相对于机械手臂底座的三维坐标；进一步获得可行性与安全性融合最高的机械手臂轨迹；依据机械手臂轨迹和各个舵机的角度操作机械手臂进行开启与关闭油箱类目标或电源接入口的操作。上述方法能克服现有技术存在的作业准确性不高、缺乏视觉、适用场景技术单一而导致的可靠性难以兼顾的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于双目感知学习的加油加电智能动作的执行方法。

背景技术

目前，由于汽油、柴油物质具有易燃性、易爆性、易挥发性、易扩散流淌性、静电荷积聚性、有毒性等危险、危害特性，而加油站经营过程中大量存储和销售汽油和柴油物质，决定了加油站存在着许多安全隐患，工作人员的误操作或中毒危害等等均可能带来较大的人员伤亡、财产损失和社会影响；同时随着电动汽车市场的日益发展，迫切需求相应技术水平的提升，智能加油加电类技术应运而生。

现有技术中的智能加油加电类技术存在着许多弊端，主要的几个方面如下：

一是现有的机器人缺乏视觉介入导致自动化受到很大限制，只对重复性大,执行频率高的工作有替代性作用，而对智能加油加电这类并不完全重复且有效与安全性要求高的工作存在很多隐患，智能化的操作存在很大的限制；

二是现有算法缺乏对场景的全面认识从而导致应用存在很大风险，加油站经营过程中大量存储的汽油和柴油物质本身具有很多的危险危害特性，场景识别的缺乏导致机械臂操作过程中很容易因出现场景障碍导致机械臂误操作，引发无法弥补的后果，加大了安全隐患。

发明内容

本发明的目的是提供一种基于双目感知学习的加油加电智能动作的执行方法，该方法能克服现有技术存在的作业准确性不高、缺乏视觉、适用场景技术单一而导致的可靠性难以兼顾的问题，能够更高效且安全的实现油箱类及电源接入口开启与关闭精准机器智能动作的执行。

本发明的目的是通过以下技术方案实现的：

一种基于双目感知学习的加油加电智能动作的执行方法，所述方法包括：

步骤1、利用标定后的双目相机获取目标场景的多视角图像；

步骤2、将所述双目相机中左目相机捕获的图像分别输入到车型高效感知模块、区域决策模块和激光视觉感知再决策模块，得到油箱类目标或电源接入口在目标场景图像中准确的区域位置；

步骤3、分割油箱类目标或电源接入口的区域位置，并结合深度图进行测距，实现三维重建，获取油箱类目标或电源接入口在重建的三维场景中的信息；

步骤4、获得在基于世界坐标下双目相机与机械手臂底座的旋转平移矩阵，并根据世界坐标系与像素坐标系的映射关系，以及机械手臂坐标系与世界坐标系的转换关系，计算出在基于机械手臂坐标系的世界坐标下油箱类目标或电源接入口相对于所述机械手臂底座的三维坐标；

步骤5、根据步骤4获得的三维坐标判断所述机械手臂底座上的机械手臂是否可以到达该三维坐标的位置，若能达到，则利用点云与深度图信息融合规划多个机械手臂轨迹，并结合风险代价估计获得可行性与安全性融合最高的机械手臂轨迹，再计算出机械手臂按轨迹动作过程中机械手臂各个舵机的角度；

步骤6、依据所获得的机械手臂轨迹和各个舵机的角度操作机械手臂到达油箱类目标或电源接入口的位置，进行开启与关闭油箱类目标或电源接入口的操作。

由上述本发明提供的技术方案可以看出，上述方法能克服现有技术存在的作业准确性不高、缺乏视觉、适用场景技术单一而导致的可靠性难以兼顾的问题，能够更高效且安全的实现油箱类及电源接入口开启与关闭精准机器智能动作的执行。