[发明专利]一种基于模仿学习的服务机器人定量倒水方法及存储介质

说明书

本发明涉及一种基于模仿学习的服务机器人定量倒水方法及存储介质，其中定量倒水方法包括：步骤1：获取人类专家定量倒水示范数据；步骤2：利用步骤1获取示范数据训练奖励函数输出网络；步骤3：搭建定量倒水决策网络，基于奖励函数输出网络，在复杂非结构化场景中利用强化学习算法学习定量倒水动作，获得目标决策网络；步骤4：使用训练好的目标决策网络驱动服务机器人完成定量倒水服务。与现有技术相比，本发明具有部署复杂度低、鲁棒性好、泛化性能好等优点。

技术领域

本发明涉及服务机器人定量倒水方法技术领域，尤其是涉及一种基于模仿学习的服务机器人定量倒水方法及存储介质。

背景技术

让机器人服务于人类的日常生活，解决生活中的琐事是服务机器人研究领域一直以来的不懈追求的目标。倒水是人类最普遍的日常活动之一，让服务机器人学会如何在复杂非结构化场景中鲁棒的完成定量倒水任务具有极高的应用价值。目前很多机械臂倒水应用都是基于编程或者拖动示教等方法实现的。基于编程的方法对于没有专业知识的普通用户而言十分的不友好，不利于服务机器人的推广；基于拖动示教的方法泛化性能弱，只能不断重复之前示范的轨迹。上述方法均无法便捷、高效地赋予服务机器人在复杂非结构化场景中完成定量倒水任务地能力。

例如中国专利CN108762101A中公开了一种基于传感监测的倒水服务机器人调控系统，通过水位传感监测和水温传感监测，对人们正在使用的水杯内的水量和水温进行实时监测；通过语音确认控制方式，经过人体语音确认后进行相应的倒水操作，虽然可以驱动机器人实现倒水服务，但是需要部署水位传感器、水温传感器等多种传感器，只能在部署了传感器之后才能使用，限制因素较多，并且不够智能，无法在复杂的非结构环境中有效的完成定量倒水任务。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种部署复杂度低、鲁棒性好、泛化性能好的基于模仿学习的服务机器人定量倒水方法及存储介质。

本发明的目的可以通过以下技术方案来实现：

一种基于模仿学习的服务机器人定量倒水方法，所述的定量倒水方法包括：

步骤1：获取人类专家定量倒水示范数据；

步骤2：利用步骤1获取示范数据训练奖励函数输出网络；

步骤3：搭建定量倒水决策网络，基于奖励函数输出网络，在复杂非结构化场景中利用强化学习算法学习定量倒水动作，获得目标决策网络；

步骤4：使用训练好的目标决策网络驱动服务机器人完成定量倒水服务。

优选地，所述步骤1中收集倒水示范数据的约束条件包括：

在收集示范数据D_expert时，需要更换目标容器、桌面背景以及在不同光照条件下重复定量倒水示范；

将目标容器内的水量分为低水量、中水量和满水量三种等级，其中低水量为目标容器容量的20±5％，中水量为目标容器水量的50±5％，满水量为90±5％，低水量、中水量和满水量三种等级分别由001、010和100三个二进制编码表示；

在收集示范数据的过程中，将相同目标容器、相同桌面背景和相同光照条件视为一组示范条件，在每一组示范条件下均需完成三种等级水量的倒水示范。

更加优选地，所述的目标容器的数量为N_cup，桌面背景数量为N_wallpaper，光照种类数量为N_light，每组示范条件下重复相同目标水量示范重复次数为λ，示范轨迹总数量为：

N_total＝3*λ*N_cup*N_wallpaper*N_light。

优选地，所述的步骤2具体为：