[发明专利]基于环境状态预测的深度强化学习方法及装置

说明书

本发明公开了一种基于环境状态预测的深度强化学习方法及装置，其中，方法包括：建立基于环境预测的深度强化学习网络，并根据任务的特点选择合适的策略决策方法；初始化网络参数，并建立满足存储条件的存储区作为经验回放区；根据策略决策网络的输出选择合适的策略来与环境进行交互，并将交互过程的交互信息连续存储到经验回放区；从经验回放区采样第一样本序列，并利用监督学习的方法对环境预测部分进行训练，并重复第一预设次数；从经验回放区采样第二样本序列，并固定环境预测部分的参数不动，利用强化学习的方法对策略决策部分进行训练，并重复第二预设次数；在网络收敛满足预设条件时，获取强化学习网络。该方法可以有效提高学习效率。

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于环境状态预测的深度强化学习方法及装置。

背景技术

在和环境的交互过程中学习是人工智能领域中的一个研究热点，解决这类问题一个重要的数学和理论工具就是强化学习。通过对马尔可夫决策过程的求解，强化学习可以通过未知环境的交互学习出一个目标导向的行为策略。而且，由于强化学习不需要显式的监督信号，且其学习过程类似于动物的学习行为，因此强化学习也被认为是解决通用人工智能问题的趋势。

相关技术中的强化学习算法由于受到时间、空间和样本复杂度的限制，因此，只能被运用在低维状态空间和动作空间的问题。这一缺陷在深度神经网络的诞生后得到了一定程度的改善。深度神经网络利用了深层网络强大的表达能力，并结合反向传播的训练方法，可以自动地提取原始数据中的多层次抽象特征，获得高维数据的有效低维表达。通过利用深度神经网络进行特征提取，深度强化学习能够解决高维数据空间中的决策问题，因此在机器人控制、棋类游戏和无人驾驶等领域中有着广阔的应用前景。

然而，相关技术中的深度强化学习算法还存在着一些缺陷。一方面，强化学习的算法的基础是马尔可夫性，而满足马尔可夫性的一个必要条件是要求状态是全观测的，因此对于部分可观测的马尔可夫决策问题，目前的算法通常都不能得到一个很好的策略；另一方面，目前的强化学习算法大多只能解决环境中的一个任务，当任务发生切换时，往往需要对网络进行重新训练，不具备有很好的通用性和迁移性，亟待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于环境状态预测的深度强化学习方法，该方法可以有效提高学习效率，并且具有很好的迁移性。

本发明的另一个目的在于提出一种基于环境状态预测的深度强化学习装置。

为达到上述目的，本发明一方面实施例提出了一种基于环境状态预测的深度强化学习方法，包括以下步骤：建立基于环境预测的深度强化学习网络，并根据环境的复杂度设定环境预测部分的网络规模，根据任务的特点选择合适的策略决策方法；初始化网络参数，并建立满足存储条件的存储区作为经验回放区；根据策略决策网络的输出选择合适的策略来与环境进行交互，并将交互过程的交互信息连续存储到所述经验回放区；从所述经验回放区采样第一样本序列，并利用监督学习的方法对所述环境预测部分进行训练，并重复第一预设次数；从所述经验回放区采样第二样本序列，并固定所述环境预测部分的参数不动，利用强化学习的方法对策略决策部分进行训练，并重复第二预设次数；在网络收敛满足预设条件时，获取强化学习网络。

本发明实施例的基于环境状态预测的深度强化学习方法，能够驱动智能体建立对当前所在环境特性的理解，对环境和自身的当前和未来全局状态进行预测，并结合了监督学习和强化学习的训练方式，在一定程度上解决了部分可观测问题和通用性问题，并且可以快速的迁移，有效提高学习效率。

另外，根据本发明上述实施例的基于环境状态预测的深度强化学习方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：通过卷积神经网络对原始图像数据进行特征提取。