[实用新型]具有视觉语义感知的机器人虚实交互操作执行系统

说明书

本实用新型提出了一种具有视觉语义感知的机器人虚实交互操作执行系统，该系统包括：构建组件用于构建真实环境或仿真环境确定相应的神经网络参数模型；视觉语义感知组件用于根据神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取感兴趣区域的目标点位信息；规划组件用于根据目标点位信息对待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；执行组件用于根据抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。该系统可用于机器人系统的快速原型开发，算法测试，精确的室内室外环境仿真，有效可靠的性能评估，以及直观可视化的交互显示。

技术领域

本实用新型涉及机器人虚实交互操作执行技术领域，特别涉及一种具有视觉语义感知的机器人虚实交互操作执行系统。

背景技术

相关技术中，对于机器人操作智能的实现主要有两种手段：

(1)在虚拟环境下控制仿真机器人，采集虚拟信号，观测状态信息，实现AI算法构建、参数优化、运动学/动力学仿真。

但往往在虚拟环境下进行机器人操作仿真训练，仿真情况下的模拟很难全面的反应真实系统的运行状况，造成结果往往不够精确。

(2)在真实环境下控制实际机器人，采集实际信号，观测状态信息，构建AI学习决策和视觉识别系统。

在真实环境下进行机器人操作训练，存在的问题是工作灵活性差、成本高、硬件装置易损坏、执行频次低。

因此，提出了具有视觉语义感知的机器人虚实交互操作执行系统，来加速智能机器人决策和控制系统研究，解决机器人虚实交互和视觉语义感知的问题是十分必要的。

实用新型内容

本实用新型旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本实用新型的目的在于提出一种具有视觉语义感知的机器人虚实交互操作执行系统。

为达到上述目的，本实用新型提出了具有视觉语义感知的机器人虚实交互操作执行系统，包括：构建组件，用于构建环境或仿真环境确定相应的神经网络参数模型；视觉语义感知组件，用于根据所述神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取所述感兴趣区域的目标点位信息；规划组件，用于根据所述目标点位信息对所述待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；执行组件，用于根据所述抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。

本实用新型提出的具有视觉语义感知的机器人虚实交互操作执行系统，构建了虚实交互的场景，快速、高效、精确的训练AI学习决策系统和视觉语义识别系统，能够用于机器人系统的快速原型开发，算法测试，精确的室内室外环境仿真，有效可靠的性能评估，以及直观可视化的交互显示。

另外，根据本实用新型提出的具有视觉语义感知的机器人虚实交互操作执行系统还可以具有以下附加的技术特征：

可选地，若选择仿真操作，则所述构建组件通过对环境、视觉相机和机械臂进行仿真，以构建所述仿真环境。

进一步地，所述视觉语义感知组件包括：标注工具，用于对所述待操作物体标注物体类别，为神经网络训练提供训练集；视觉神经网络构架，用于训练所述训练集，获得所述感兴趣区域，并用矩形框得到所述待感兴趣区域所在的区域；双目相机，若在所述仿真环境下，则用于读取相机基坐标系在三维空间中的位姿，并利用自带的算例读取深度信息，若在所述真实环境下，则用于标定内外参数，并利用自带的算例读取深度信息；图像处理工具，用于通过所述矩形框获得所述待操作对象中心点的像素和相对X轴的夹角，再通过双目视觉的基本算法计算出所述机基坐标系下所述待操作对象的位置；处理组件，用于通过所述待操作对象中心点的像素计算出所述矩形框的大小，从而计算出夹爪需要开合的大小。

进一步地，所述目标点位信息包括：通过所述图像处理工具计算出的抓取位姿和通过所述待操作对象中心点的像素确定的夹爪开合大小。