[发明专利]一种基于双目感知学习的加油加电智能动作的执行方法

权利要求书

1.一种基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述方法包括：

步骤1、利用标定后的双目相机获取目标场景的多视角图像；

步骤2、将所述双目相机中左目相机捕获的图像分别输入到车型高效感知模块、区域决策模块和激光视觉感知再决策模块，得到油箱类目标或电源接入口在目标场景图像中准确的区域位置；

步骤3、分割油箱类目标或电源接入口的区域位置，并结合深度图进行测距，实现三维重建，获取油箱类目标或电源接入口在重建的三维场景中的信息；

步骤4、获得在基于世界坐标下双目相机与机械手臂底座的旋转平移矩阵，并根据世界坐标系与像素坐标系的映射关系，以及机械手臂坐标系与世界坐标系的转换关系，计算出在基于机械手臂坐标系的世界坐标下油箱类目标或电源接入口相对于所述机械手臂底座的三维坐标；

步骤5、根据步骤4获得的三维坐标判断所述机械手臂底座上的机械手臂是否可以到达该三维坐标的位置，若能达到，则利用点云与深度图信息融合规划多个机械手臂轨迹，并结合风险代价估计获得可行性与安全性融合最高的机械手臂轨迹，再计算出机械手臂按轨迹动作过程中机械手臂各个舵机的角度；

步骤6、依据所获得的机械手臂轨迹和各个舵机的角度操作机械手臂到达油箱类目标或电源接入口的位置，进行开启与关闭油箱类目标或电源接入口的操作。

2.根据权利要求1所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述步骤2的过程具体为：

首先将所述双目相机中左目相机捕获的图像输入到车型高效感知模块，并对感知结果进行概率评估，若达到设定的概率阈值，则输出厂商车体的具体车型，并根据具体车型判断油箱类目标或电源接入口的左右估计区域；

再以左右估计区域作为先验知识将图像输入到区域决策模块中，用于分割出油箱类目标或电源接入口在目标场景图像中的位置；

最后将左目相机捕获的图像输入到激光视觉感知再决策模块生成点云信息，同时利用激光结合相机得到的激光视觉RGBD-i图像与双目视觉估计的RGBD-j图像，利用两组RGBD图像进行相互校准，并结合L-RGBD的L，即点云信息实现区域再决策，得到准确性更高的油箱类目标或电源接入口在目标场景图像中的区域位置。

3.根据权利要求2所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述区域决策模块具体是根据所需的语义特征及所述车型高效感知模块输入的左右估计区域特征，分割出油箱类目标或电源接入口在目标场景图像中的位置，并进行风险搜索，具体来说：

规定风险评估函数为R，当风险评估函数的数值高于可操作的阈值时，代表车型识别或位置识别错误，则采用非正常处理流程，提醒车主移动车辆；若未超出，则正常输出油箱类目标或电源接入口在目标场景图像中的位置；

其中，风险评估函数R以所述车型高效感知模块在阶段一输出的车型粗略判断概率p1、阶段二输出的车型精细化感知概率p2、油箱类目标或电源接入口的左右方位判断概率p3以及分割出区域位置的概率p4作为指标，首先获取决策信息，即属性权重ω和归一化的属性值r，令：

ω₁＝ω₂＝0.2，ω₃＝ω₄＝0.3

其中，n为指标数，用于计算风险评估数值；i为下标，取值为1～4，p_i为相应概率；r_i为归一化后的指标值。

4.根据权利要求2所述基于双目感知学习的加油加电智能动作的执行方法，其特征在于，所述利用两组RGBD图像进行相互校准的过程为：

两组RGBD图像的相互校准是利用绝对值偏差法，计算所有相同位置两图像在深度D通道上的绝对值偏差，当偏差为可接受范围内时，认为该位置图像正确，其中深度D通道值取均值；否则认为位置错误，将该深度D通道值改为0；如下公式所示：

其中，D_1-ij，D_2-ij分别是RGBD-i图像及RGBD-j图像在坐标(i,j)处的D通道值；为可允许最大偏差；D_ij是校准后的D通道值。