[发明专利]一种机器人视觉识别方法、装置及计算机可读存储介质

说明书

本发明公开了一种机器人视觉识别方法，基于图片数据库对生成网络进行训练，以使生成网络的预测能力逐渐增强；然后在获取到基于对实时环境图片下采样得到的第一体素网格时，通过生成网络将所述第一体素网格转化为一维向量，合并所述一维向量与基于空间特性生成的第一条件向量；之后将生成网络输出的预测信息作为判别网络的输入值，结合基于空间特性生成的第二条件向量，确定生成网络输出的预测信息是否符合期望。本发明还公开了一种机器人视觉识别装置及计算机可读存储介质。本方法能够从一个单一RGB‑D图像预测目标对象收到外力时的变形，有效提高了预测速度，能够用于实时在线预测，适合于自主机器人对地域环境进行评估。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种机器人视觉识别方法、装置及计算机可读存储介质。

背景技术

不论是用于搜救的户外机器人或者行星机器人，或是用于工业的无轨道自动导引小车AGV(Automated Guided Vehicles)，能够感知和模拟周围环境是自主式移动机器人的能力要求之一，也是执行例如兼容式操作以及安全导航等高层次任务的基础。传统的路径规划方法通常会假定路面及障碍物等都是刚性物体，然而在现实情况中，自主式移动机器人可能需要面对的路面和障碍物可能是会变形且不坚硬的材质。

目前，解决非刚性物体变形问题的方式主要包括利用质量弹簧系统进行模拟，或者是借助有限元技术进行计算。质量弹簧系统虽然计算量较少，但是无法直观和精确的模拟出目标材料的特性，同时也很难拓展到三维建模的层面上；有限元方法得到的结果虽然相对精确，但是由于需要精确建模大量的变形网格节点，计算成本很高，通常会需要花费十几分钟到若干小时，而在对路面和障碍物情况的实时预测方面，需要机器人进行快速的计算和响应，因此有限元方法不适宜用于机器人行走过程中的在线实时预测。从而提出一种方法，使得自主式移动机器人能够在路径规划的过程中预测路况以及估计路面变形，选择安全性高的路径行驶，避免出现由于变形材料被困住或由于路基超载产生危险的情况。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种机器人视觉识别方法、装置及计算机可读存储介质，旨在解决自主式移动机器人通过预先评估目标路径和障碍物的特性进行路径规划的技术问题。

为实现上述目的，本发明提供一种机器人视觉识别方法，所述机器人视觉识别方法包括以下步骤：

基于图片数据库对所述生成网络进行训练，以使所述生成网络的预测能力逐渐增强；

在获取到基于对实时环境图片下采样得到的第一体素网格时，通过生成网络将所述第一体素网格转化为一维向量，合并所述一维向量与基于空间特性生成的第一条件向量；

将所述生成网络输出的预测信息作为判别网络的输入值，结合基于空间特性生成的第二条件向量，确定所述生成网络输出的预测信息是否符合期望。

优选地，所述基于图片数据库对所述生成网络进行训练，以使所述生成网络的预测能力逐渐增强的步骤之前，所述方法还包括：

收集若干真实环境图片，建立对应的图片数据库。

优选地，所述机器人视觉识别系统包括物理模拟器，所述基于图片数据库对所述生成网络进行训练，以使所述生成网络的预测能力逐渐增强的步骤包括：

基于图片数据库获取若干个体素网格和条件向量，通过物理模拟器生成由所述若干个体素网格和条件向量组成的若干个地面真值对；

基于所述若干个地面真值对训练生成网络，不断优化生成网络的相关参数，以使所述生成网络的预测能力逐渐增强。