[发明专利]一种基于单目相机的机器人室内复杂场景避障方法

权利要求书

1.一种基于单目相机的机器人室内复杂场景避障方法，其特征在于，该方法包括以下步骤：

步骤1、加载机器人仿真模型与搭建训练测试仿真环境

为了解决复杂场景避障问题，采用TurtleBot-ROS机器人的URDF模型作为实验机器人；运用ROS-Stage中的Block、Crossing和Passing作为训练环境，部署24个相同的TurtleBot-ROS机器人用于分布式控制决策模块训练；以ROS-Gazebo中的cafe环境作为测试场景的背景，并手动加入Gazebo中的复杂障碍物，用于测试整个视觉系统的有效性；

步骤2、获取语义深度图

从TurtleBot-ROS机器人搭载的单目相机获取RGB图像，将其输入到Fastdepth深度预测网络中获得当前视野下的深度图；选取深度图下半部分作为中间结果；该结果中的地面像素信息会干扰避障，导致避障失败，因此将RGB图像输入到CCNet语义分割模型中获取二分类的语义分割掩膜，其中0表示地面像素，1表示背景，将语义分割掩膜与深度图进行逐像素相乘获取到语义深度图，该语义深度图中每个像素的值为当前视角的深度距离，同时去除有干扰的地面深度数值；

步骤3、深度切片与数据增强模块

对语义深度图中的深度值像素进行动态最小池化操作，池化窗口大小为（240，1），步长为1，每次池化操作选取窗口中的最小值作为输出对象，图像每列均进行池化操作，得到的结果为“伪激光”观测数据；

通过引入数据增强方式，在训练时对虚拟环境的观测数据加以噪声干扰；为了从训练激光测量中识别出噪声边界，假设如果矢量中两个相邻值的差大于阈值0.5时，则会存在交界边界；并通过窗口大小为（1,8）的线性内插法替换两个相邻端点周围的值；同时，对于所有的“伪激光”观测数据，自适应地添加方差为0.08的高斯白噪声；

步骤4、控制决策阶段

获取到“伪激光”观测数据后，将连续三个时刻的“伪激光”置于三个通道内，构成的张量作为观测数据的输入，使实验机器人有效感知动态障碍物在短暂时间上的光流效果，从而对动态障碍物做出正确的决策；

深度强化学习模块采用PPO算法，网络结构由3层卷积层与3层全连接层构成；为了使实验机器人平稳地安全到达目标位置，模态的输入包括三个部分：观测数据、目标点距离和速度；其中观测数据为步骤3得到的“伪激光”观测数据，目标点距离和速度由机器人机载里程计获取；使用特征提取指导层，由3层卷积分别提取三种模态的数据特征并融合，再经过sigmoid激活获取特征掩膜与“伪激光”观测数据点乘，得到的结果送入深度强化学习模块；

将深度强化学习模块的第二个全连接层修改为LSTM层，增加深度强化学习模块的时序相关性，使实验机器人根据整个路径中所有的观测来决策动作；

步骤5、形成单目避障导航网络并输出决策结果

将步骤2、3、4拼接使得从单目的RGB相机获取输入图像，处理后得到深度图与语义分割掩膜，点乘后进行裁剪，经过动态最小池化操作获取“伪激光”观测数据，将连续三帧的“伪激光”观测数据与目标点距离和速度大小一并输入到深度强化学习模块中，经过特征提取指导层对“伪激光”观测数据中每一维度施加不同的关注度，通过多层卷积、池化和全连接之后，利用LSTM层为整个路径增加时序相关性，最后输出机器人当前时刻的决策动作，从而达到自主避障与导航的效果。