[发明专利]一种基于强化学习的宠物自动投食控制系统和方法

说明书

本发明公开了一种基于强化学习的宠物自动投食控制系统和方法，其主要包括基体和控制器，所述控制器通过以下方法获得最优投食策略：A、建立宠物投食的模型，B、将宠物投食问题建模为一个马尔科夫决策过程模型，对其中的状态、动作、状态转移函数及立即奖赏函数建模，C、建立回报值函数模型，D、利用Sarsa强化学习算法求解最优投食策略；所述控制器根据最优投食策略控制每次的投食量。本发明有利于节约食物。可适应各种宠物的饮食习惯。不需要提供各种宠物的一般投食数据，本发明可自己学习获得。所求得的最优投食策略相对于现有的投食方式更加准确。可以根据环境的变化动态修正最优投食策略。

技术领域

本发明涉及一种基于强化学习的宠物自动投食控制系统和方法。

背景技术

当今社会，越来越多的人在家饲养宠物。很多人常常因为个人原因长时间不在家，例如工作、旅游等等，也没有时间为家里的宠物喂食。于是人们发明了宠物投食器。从简易版本的漏斗式投食装置到现在的携带摄像机主人可以随时交互和远程投食的装置。宠物投食器虽然经历了数代的变化，但是宠物投食器的投食量计算仍然不尽人意。无论是设定量定时投食还是远程调控投食，都面临着许多问题。例如食物浪费以及食物长时间与空气接触后导致的食物不新鲜问题。而不新鲜的食物也无法保障宠物的健康，同样也无法使外出的主人真正的放心。

例如，中国专利201710653317.9公开了宠物投食控制装置，该装置可实现主人远程控制是否投食以及投食量的多少。但该装置由于需要主人经常监测用户终端并自己判断投食多少，这样会耗费主人大量时间。如果主人疏忽没有监测到相关信息，比如，主人比较繁忙，或者用户终端不在网络覆盖区域，则宠物有可能长时间挨饿。并且，主人需要自主来调整投食量，这就带来一定问题，主人经验丰富，则宠物不但能吃饱而且食物浪费少，如果主人经验不足，则宠物很可能挨饿或者大量食物被浪费。

再如，中国专利201610779124.3公开了一种基于物联网控制地宠物投食系统，该系统可实现定时定量自动给宠物投食。但该系统存在的不足在于：定量给宠物投食可能会造成宠物挨饿或喂食过量引起的食物浪费以及变质。还有，该系统仅仅通过一个电磁阀的开闭来控制食物的投放量，在使用时，电磁阀有可能被宠物食物卡死，导致无法完全关闭，这样会使容器内的宠物食物与空气长时间接触，容易引起变质。

发明内容

本发明解决的技术问题是提供一种可利于节约宠物食物的基于强化学习的宠物自动投食控制系统。

本发明解决其技术问题所采用的技术方案是：一种基于强化学习的宠物自动投食控制系统，包括基体，所述基体内设置有用于储存宠物食物的食物腔，基体内还设置有与食物腔连通的倾斜的出料通道，所述出料通道处设置有用于控制出料通道开闭的闸门机构，出料通道的低端外侧设置有接食容器，所述接食容器的底部设置有压力传感器，还包括定时器和控制器，所述定时器、压力传感器和闸门机构分别与控制器连接，

所述控制器通过以下方法获得最优投食策略：

A、建立宠物投食的模型，

B、将宠物投食问题建模为一个马尔科夫决策过程模型，对其中的状态、动作、状态转移函数及立即奖赏函数建模，

C、建立回报值函数模型，

D、利用Sarsa强化学习算法求解最优投食策略；

所述控制器根据最优投食策略控制每次的投食量。

进一步的是，所述控制器为移动终端，所述移动终端通过WIFI模块分别与定时器、压力传感器和闸门机构连接。

进一步的是，所述闸门机构包括间隔设置的第一闸门和第二闸门，第一闸门高于第二闸门，且第一闸门和第二闸门之间形成缓冲区域，所述第一闸门由第一闸门驱动机构驱动，所述第二闸门由第二闸门驱动机构驱动。

本发明还提供了一种获得最优投食策略的方法，具体为：