[发明专利]一种基于机器视觉的智能售餐机器人及其使用方法

权利要求书

1.一种基于机器视觉的智能售餐机器人的使用方法，其特征在于，包括以下步骤：

通过电机驱动售餐机器人在楼道中不断来回移动，利用视觉障碍物识别进行规划路径，遇人停留5秒等待是否点餐；

客人点餐，服务器通过外部显示屏展示剩余餐品以供选择；

点餐结束，客户端向机械臂发出指令；

机械臂通过图像识别，精准选择抓取不同餐品；

取餐结束，称重、计算价格，等待付款将餐品送出。

2.根据权利要求1所述的方法，其特征在于：用户通过外部显示屏点餐，将所得数据传送至机械臂进行抓取，其具体包括：

用户点餐，客户端通过ROS平台将所需要执行的指令发送到机械臂，从而达到控制机械臂的目的。

3.根据权利要求1所述的方法，其特征在于：利用深度相机获取物体的RGB信息和视觉系统与物体之间的深度信息，具体包括：

目标检测模块利用已经训练好的卷积神经网络的目标检测算法-YOLO来对餐品进行识别分类。

4.根据权利要求1所述的方法，其特征在于：目标位姿计算具体包括：

通过视觉抓取一个目标，最先得到的就是目标在相机所拍摄的图像中的位置，然后把图像中的位置转化为机械臂所知道的位置；

将像素坐标系下的位置根据下式把它转化为世界坐标系下的位置；

其中为相机内参，为相机外参。

5.根据权利要求1所述的机械臂路径规划，其特征在于：利用RRT算法对机械臂抓取路径进行规划。

6.一种基于机器视觉的智能售餐机器人，包括：

智能点餐模块、路径规划模块、机器视觉模块、坐标转换模块、红外定位模块和机械手臂系统；其中机器视觉模块和目标检测模块相连，机器视觉模块用来获取机械手系统抓取范围内物体的RGB信息和视觉系统与物体之间的深度信息，并将所有物体的RGB信息和深度信息发送至目标检测模块；

目标检测模块和坐标转换模块相连，目标检测模块用于对每个餐品的RGB信息进行分类，以此确定每个餐品的名称，并且根据每个餐品的深度信息确定每个餐品在相机坐标下的三维坐标；同时将每个餐品的名称和相机坐标系下的三维坐标发送给坐标转换模块；

坐标转换模块用于将每个物体的相机坐标下的三维坐标转换成机械手坐标系下的三维坐标；

智能点餐系统用以提供用户便捷的点餐操作，将获取餐品信息传递至计算机；

路径规划模块与机械手臂系统连接，路径规划模块用于根据用户需要抓取物体的机械手坐标系下的三维坐标进行路径规划，获取物体抓取路径，并将物体抓取路径发送给所述机械手抓取模块；

红外定位模块检测餐品所在位置；

机械手臂系统用于根据所述物体抓取路径抓取用户需要餐品。