[发明专利]一种基于深度强化学习仿人足球机器人的实时主动视觉方法

权利要求书

1.一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：包括下列步骤：

S100、选择方法：通过定义马尔可夫决策过程来将问题表述为一个情景性强化学习问题，同时从当前的环境状态得到一个准确的信念；

S200、目标测定：根据机器人和球的位置确定最佳视角，并采用基于熵的方法评估自定位视角的效率；

S300、训练过程和细节：基于熵的算法输出用于机器人头部的在线控制，使用深度Q-learning方法解决情景性强化学习问题。

2.根据权利要求1所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S100选择方法中，运用机器人的视角内的感兴趣对象，达到最佳视角来感知自定位环境中最有用的观察结果，利用感知到的观察将机器人定位在动态环境中，并控制视角中的球，从而控制比赛。

3.根据权利要求2所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S100选择方法中，提供一个包含智能体和动态环境两个主要角色的情景性强化学习解决方案，学习最优策略来优化机器人的视角。

4.根据权利要求3所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S100选择方法中，将智能体-环境相互作用用部分可观察的马尔可夫决策过程POMDP表示，具体表示为观察o∈O，状态s∈S，动作a∈A，奖励函数

5.根据权利要求4所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S200目标测定中，根据包含地标的视角的目标位置改进机器人的自定位模型，同时将球保持在其中，离散化摄像机的位置空间，并评估所有可能的位置以确定目标位置，每个摄像机位置p由元组p＝(θ_pan,θ_tilt)，和表示，机器人位置的信念由多元正态分布X:N(μ,∑)表示。

6.根据权利要求5所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S200目标测定中，采用基于熵的方法，将机器人和球的位置作为输入，并返回最佳视角，对于每个视角p，计算期望的熵并更新最佳视角p^*，确定从机器人当前位置的可见地标和视点p测量的所有观测值，找到最佳视点的过程。

7.根据权利要求6所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S300训练过程和细节中，在每个场景的开始，球和机器人被随机地放置在场地中，并配有随机的摄像机位置，然后使用前一节中提出的算法确定目标，然后智能体开始采取行动，直到终止，终止后，环境恢复，另一段情节开始。

8.根据权利要求7所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S300训练过程和细节中，使用DDQN算法解决所表示问题的算法，同时使用优先经验重放，用深度神经网络将q函数逼近，将q值更新至一个目标值:

9.根据权利要求8所述的一种基于深度强化学习仿人足球机器人的实时主动视觉方法，其特征在于：所述S300训练过程和细节中，从优先体验重放中选择不同的批次来训练神经网络，以灰度图像将卷积神经网络作为输入，并输出Q值向量，将尺寸为160×120×1的张量作为网络的输入，第一隐藏层使用步幅2对32个5×5的滤波器进行卷积，然后应用非线性激活函数，第二个隐藏层应用跨度为2的2×2的Max池，第三个隐藏层对跨度为2的64个3×3的滤波器进行卷积，然后是非线性激活函数，然后是另一个卷积层，该卷积层将64个3×3的滤波器与步幅2卷积在一起，然后是非线性激活函数，然后是一个由512个单元组成的隐藏的完全连接层，最后，输出层是一个完全连接的线性层，每个动作都有一个输出。