[实用新型]具有视觉语义感知的机器人虚实交互操作执行系统

权利要求书

1.一种具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，包括：

构建组件，用于构建真实环境或仿真环境确定相应的神经网络参数模型；

视觉语义感知组件，用于根据所述神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取所述感兴趣区域的目标点位信息；

规划组件，用于根据所述目标点位信息对所述待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；以及

执行组件，用于根据所述抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。

2.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，若选择仿真操作，则所述构建组件通过对环境、视觉相机和机械臂进行仿真，以构建所述仿真环境。

3.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，所述视觉语义感知组件包括：

标注工具，用于对所述待抓取物体标注物体类别，为神经网络训练提供训练集；

视觉神经网络构架，用于训练所述训练集，获得所述感兴趣区域，并用矩形框得到所述感兴趣区域所在的区域；

双目相机，若在所述仿真环境下，则用于读取相机基坐标系在三维空间中的位姿，并利用自带的算例读取深度信息，若在所述真实环境下，则用于标定内外参数，并利用自带的算例读取深度信息；

图像处理工具，用于通过所述矩形框获得所述待操作对象中心点的像素和相对X轴的夹角，再通过双目视觉的基本算法计算出所述机基坐标系下所述待操作对象的位置；

处理组件，用于通过所述待操作对象中心点的像素计算出所述矩形框的大小，从而计算出夹爪需要开合的大小。

4.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，所述目标点位信息包括：通过图像处理工具计算出的抓取位姿和通过待操作对象中心点的像素确定的夹爪开合大小。

5.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，所述执行组件包括：

关节轨迹控制器，用于根据所述避障和轨迹规划输出连续关节轨迹的位置、速度和力矩；

驱动器，用于根据所述关节轨迹控制器输出的数据控制所述真实机械臂或仿真机械臂的动作，执行抓取任务。