[发明专利]一种基于深度强化学习仿人足球机器人的实时主动视觉方法

说明书

本发明属于视觉技术领域，具体涉及一种基于深度强化学习仿人足球机器人的实时主动视觉方法，包括如下步骤：选择方法、目标测定、训练过程和细节，所述选择方法通过定义马尔可夫决策过程来将问题表述为一个情景性强化学习问题，同时从当前的环境状态得到一个准确的信念；所述目标测定根据机器人和球的位置确定最佳视角，并采用基于熵的方法评估自定位视角的效率；所述训练过程和细节基于熵的算法输出用于机器人头部的在线控制，使用深度Q‑learning方法解决情景性强化学习问题。

技术领域

本发明属于视觉技术领域，具体涉及一种基于深度强化学习仿人足球机器人的实时主动视觉方法。

背景技术

目前为了规划摄像机的最佳视角，了解环境和智能体本身的准确状态是至关重要的。在主动视觉中，由于对象的动态性和主体状态的不确定性，环境状态和智能体本身都不是完全可用的。因此，一个主动视觉系统应该尽可能精确地模拟它的状态和环境，这是该领域的主要挑战之一。另一方面，考虑到动态环境中代理的局限性，试图以很高的效率确定最佳视角可能会耗费大量的计算。因此，主动视觉的研究已经从不同的视角和不同的研究方法展开。

存在问题或缺陷的原因：目前常见的技术之一是基于概率的解决方案。在这种情况下，机器人的信念是用概率分布建模的。然而这种方法有一些弱点。为了选择下一个合适的动作，必须通过假设所有的动作都已经完成来计算模型熵。在这种情况下，无论动态对象的状态无法准确估计，模型的性能都将高度依赖于当前信念的准确性。主动视觉的另一种方法是将问题表述为一种强化学习，可以利用多种现代算法，比如深度神经网络。随着强化学习和深度神经网络的发展，这些方法取得了巨大的进展。然而，这些方法实质上需要大量的处理资源和费时的训练程序。同时由于状态空间和动作空间的复杂性，训练一个鲁棒模型将是不平凡的和具有挑战性的。作为另一个挑战，取决于任务的复杂性，通常执行一个真实的训练是不可行的，这应该在模拟器环境中完成。然而，在仿真环境中训练出来的模型在真实环境中不一定能达到相同的性能。

发明内容

针对上述模型的性能都将高度依赖于当前信念的准确性、需要大量的处理资源和费时的训练程序等问题，本发明提供了一种具有较高精度定位的实时主动视觉方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于深度强化学习仿人足球机器人的实时主动视觉方法，包括下列步骤：

S100、选择方法：通过定义马尔可夫决策过程来将问题表述为一个情景性强化学习问题，同时从当前的环境状态得到一个准确的信念；

S200、目标测定：根据机器人和球的位置确定最佳视角，并采用基于熵的方法评估自定位视角的效率；

S300、训练过程和细节：基于熵的算法输出用于机器人头部的在线控制，使用深度Q-learning方法解决情景性强化学习问题。

所述选择方法中，运用机器人的视角内的感兴趣对象，达到最佳视角来感知自定位环境中最有用的观察结果，利用感知到的观察将机器人定位在动态环境中，并控制视角中的球，从而控制比赛。

所述选择方法中，提供一个包含智能体和动态环境两个主要角色的情景性强化学习解决方案，学习最优策略来优化机器人的视角。

所述选择方法中，将智能体-环境相互作用用部分可观察的马尔可夫决策过程POMDP表示，具体表示为观察o∈O，状态s∈S，动作a∈A，奖励函数

所述目标测定中，根据包含地标的视角的目标位置改进机器人的自定位模型，同时将球保持在其中，离散化摄像机的位置空间，并评估所有可能的位置以确定目标位置，每个摄像机位置p由元组p＝(θ_pan,θ_tilt)，和表示，机器人位置的信念由多元正态分布X:N(μ,∑)表示。