[发明专利]一种基于机器视觉的智能售餐机器人及其使用方法

说明书

一种基于机器视觉的智能售餐机器人的使用方法，包括步骤：餐车在学生宿舍楼道来回缓慢移动，检测有人会自动停下，学生可以在触摸屏上选择需要的餐点；机械臂获取信息并且对餐品进行图像识别获取彩色图和深度；对目标物体的所在区域进行分割，并进行目标物体识别；获取完成识别后的目标物体的位姿；根据所述位姿进行运动规划；根据所述运动规划完成目标餐品的抓取；将抓取餐品放置在餐盘上称重并计算价格外部显示屏显示价格和二维码等待付款；付款完成餐车上面阀门打开将餐品送出。本发明的方法中，机械臂有较高的识别准确率和位资估计精度，根据图像识别和远程控制实现智能操作，也可以应对复杂的工作环境，在使用过程中十分便捷。

技术领域

本发明涉及服务机器人技术领域，特别是涉及一种基于机器视觉的物体抓取及方法。

背景技术

服务机器人是目前机器人领域的一个重要分支，随着社会的发展，生活、工作节奏的加快，随之酝酿而生的将是庞大的服务机器人市场。与传统工业机器人具有鲜明区别的地方在于服务机器人工作在一个无序的、非结构化的环境中。工业机器人可能只需要事先规划好工作方式，就能够按照规定的动作往返操作，但是服务机器人工作环境时常会有变化，机器人需要更强的认知能力和执行力，所以对机器人的智能性及自适应性提出更高要求。如何提供一种能够解决高校食堂宿舍无人售餐的服务机器人成为一个亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于机器视觉的智能售餐机器人，以提供能够解决高校食堂宿舍无人售餐的问题。

为了实现上述目的，本发明提供了如下方案：

一种基于机器视觉的智能售餐机器人，其具体包括包括：智能点餐模块、路径规划模块、机器视觉模块、坐标转换模块、红外定位模块和机械手臂系统；其中机器视觉模块和目标检测模块相连，机器视觉模块用来获取机械手系统抓取范围内物体的RGB信息和视觉系统与物体之间的深度信息，并将所有物体的RGB信息和深度信息发送至目标检测模块；目标检测模块和坐标转换模块相连，目标检测模块用于对每个餐品的RGB信息进行分类，以此确定每个餐品的名称，并且根据每个餐品的深度信息确定每个餐品在相机坐标下的三维坐标；同时将每个餐品的名称和相机坐标系下的三维坐标发送给坐标转换模块；坐标转换模块用于将每个物体的相机坐标下的三维坐标转换成机械手坐标系下的三维坐标；智能点餐系统用以提供用户便捷的点餐操作，将获取餐品信息传递至计算机；路径规划模块与机械手臂系统连接，路径规划模块用于根据用户需要抓取物体的机械手坐标系下的三维坐标进行路径规划，获取物体抓取路径，并将物体抓取路径发送给所述机械手抓取模块；红外定位模块检测餐品所在位置；机械手臂系统用于根据所述物体抓取路径抓取用户需要餐品。

本发明采用的技术方案是：在物体位资确定方面，采用张正友标定法，为了可以快速确定餐品位置，首先引入归一化相机的模型。在该模型中，相机的f＝1，且成像点的中心是图像坐标系的原点(x,y)。

根据相似三角形原理，不难得出：

x＝u/w

y＝v/w

归一化相机在实际情况下是不存在的，它与真实摄像机存在两点差异：

(1)焦距不为1，且由于图像的最终位置是利用像素进行测量的，因此模型必须将感光体的间距考虑在内，考虑到感光体在x方向和y方向上的间距是不同的，因此引入两个比例因子：称为焦距参数。原本的映射关系就变成了：

(2)像素坐标系的坐标原点和图像坐标系的并不重合，这就需要转移的位置，因此增加偏移量参数：δ_x，δ_y。同时引入偏移参数γ用于控制投影位置x作为真实世界中高度v的函数，原本的映射关系就变成了：