[发明专利]一种基于强化学习的足球机器人协作方法

说明书

本发明公开了一种基于强化学习的足球机器人协作方法，所述方法包括：S1、基于加入有通讯的Sarsa(λ)算法构建足球机器人的强化学习基本模型，并设定所述强化学习基本模型的奖惩机制r；S2、基于足球机器人之间的距离和角度定义指定数量的状态变量；S3、设置足球机器人的可操作动作集，足球机器人基于所述奖惩机制r和所述状态变量以及足球机器人相互间通讯选择下一步动作；本发明通过在建立的强化学习基本模型设立奖惩机制，实现足球机器人可根据当前环境和奖惩机制来选择下一动作，并且通过足球机器人相互之间的通讯来进行学习和更新，有效提升了足球机器人的协作效率。

技术领域

本发明属于足球机器人领域，具体涉及一种基于强化学习的足球机器人协作方法。

背景技术

足球机器人对抗赛作为一个典型的多足球机器人系统，它为智能理论研究及多种技术的集成应用提供了良好的实验平台，对足球机器人在运动过程中能够根据周围环境的变化而自主的采取相应措施的能力要求也越来越强，这涉及到机器人定位、路径规划、协调控制、目标追踪及决策等一系列研究课题。

近年来，许多学者专家研究出了不少的成果，例如，申请号为201120008202.2的中国专利公开了一种智能机器人比赛装置，包括机械部分和电路控制部分，机械部分包括球桌、控制台和机器人，电路控制部分包括位于控制上的控制模块和位于机器人上的受控模块，可以形成对抗比赛场面；申请号为201010175496.8的中国专利公开了一种机器人教育平台，其包括一个箱体、该箱体内设置衣服机械组建、传感器单元、控制单元、执行单元、接口转换单元、任务软件光盘和电源模块，适应于课堂教学的各种实验；申请号为200410016867.2的中国专利公开了一种足球机器人嵌入式直接驱动装置，针对现有自主式机器人转动部分的不足，提供了一种足球机器人驱动装置，结构紧凑调试灵活，使机器人具有快速移动、定位精确、抗冲击、对抗性强的功能；申请号为201120313058.3的中国专利公开了一种室内足球机器人双目视觉导航系统，采用全局红外视觉定位方式，结合传感器信息，实现了室内移动机器人高精度的定位与导航的室内足球机器人双目视觉导航，但它仅适用于障碍物固定且环境较稳定，单一机器人操作的情况。从现有技术看，主要有机器人平台机械结构的设计、机器人驱动装置的改造、固定环境或单一的机器人的运动控制，未见到可应用于足球机器人对抗型比赛的协调与合作控制案例，而且，现有的足球机器人比赛中，经常会出现足球机器人在足球场场地上找不到自己的位姿而自转运动的现象，经常会错失一些进球的机会，延缓了进球的速度。

发明内容

针对上述现有技术中在足球机器人比赛中足球机器人互相之间协作效率低的问题，本发明于提出一种基于强化学习的足球机器人协作方法，该方法通过结通过基于基于加入有通讯的Sarsa(λ)算法构建足球机器人的强化学习基本模型，通过强化学习模型及足球机器人相互间的通讯来实现相互间的高协作效率，具体技术方案如下：

一种基于强化学习的足球机器人协作方法，所述方法包括：

S1、基于加入有通讯的Sarsa(λ)算法构建足球机器人的强化学习基本模型，并设定所述强化学习基本模型的奖惩机制r；

S2、基于足球机器人之间的距离和角度定义指定数量的状态变量；

S3、设置足球机器人的可操作动作集，足球机器人基于所述奖惩机制r和所述状态变量以及足球机器人相互间通讯选择下一步动作。

进一步的，所述足球机器人包括进攻端机器人和防守端机器人，所述状态变量的数量基于所述进攻端机器人和防守端机器人的总和来设定。

进一步的，所述方法还包括：所述进攻端机器人或所述防守端机器人中指定足球机器人通过所述Sarsa(λ)算法与剩余足球机器人通讯，通过所述通讯广播自身的状态和动作消息。

进一步的，所述奖惩机制r为：

进一步的，所述可操作动作集包括传球、带球和射门三种。