[发明专利]基于环境状态预测的深度强化学习方法及装置

权利要求书

1.一种基于环境状态预测的深度强化学习方法，其特征在于，包括以下步骤：

建立基于环境预测的深度强化学习网络，并根据环境的复杂度设定环境预测部分的网络规模，根据任务的特点选择合适的策略决策方法；

初始化网络参数，并建立满足存储条件的存储区作为经验回放区；

根据策略决策网络的输出选择合适的策略来与环境进行交互，并将交互过程的交互信息连续存储到所述经验回放区；

从所述经验回放区采样第一样本序列，并利用监督学习的方法对所述环境预测部分进行训练，并重复第一预设次数；

从所述经验回放区采样第二样本序列，并固定所述环境预测部分的参数不动，利用强化学习的方法对策略决策部分进行训练，并重复第二预设次数；

在网络收敛满足预设条件时，获取强化学习网络；

其中，通过卷积神经网络对原始图像数据进行特征提取；获取传感数据，并根据所述传感数据生成一维向量，并通过全连接网络提取特征，以将所述卷积神经网络的输出拉平成一维向量，并和所述全连接网络的输出相连接，得到所有数据的特征向量，以及利用全连接层，将所述特征向量进行融合；

其中，利用监督学习得到抽象环境特征，以通过所述抽象环境特征进行策略决策训练；

所述抽象环境特征s_t为：

s_t＝g(f(o₀)，f(o₁)，f(o₂)，...，f(o_t))，

其中，t为第t个时刻，s_t为t时刻的抽象环境特征，o₀为第0时刻的观测值，o₁为第1时刻的观测值，o₂为第2个时刻的观测值，o_t为第t个时刻的观测值，f(o_t)为对t时刻的观测值使用映射f进行特征提取后的输出，g(f(o₀)，f(o₁)，f(o₂)，...，f(o_t))为对t时刻以及t之前的观测进行特征提取，并针对这些特征使用映射g进行特征融合得到t时刻的抽象环境特征。

2.一种基于环境状态预测的深度强化学习装置，其特征在于，包括：

建立模块，用于建立基于环境预测的深度强化学习网络，并根据环境的复杂度设定环境预测部分的网络规模，根据任务的特点选择合适的策略决策方法；

初始化模块，用于初始化网络参数，并建立满足存储条件的存储区作为经验回放区；

交互模块，用于根据策略决策网络的输出选择合适的策略来与环境进行交互，并将交互过程的交互信息连续存储到所述经验回放区；

训练模块，用于从所述经验回放区采样第一样本序列，并利用监督学习的方法对所述环境预测部分进行训练，并重复第一预设次数；

强化模块，用于从所述经验回放区采样第二样本序列，并固定所述环境预测部分的参数不动，利用强化学习的方法对策略决策部分进行训练，并重复第二预设次数；以及

获取模块，用于在网络收敛满足预设条件时，获取强化学习网络；

提取模块，用于通过卷积神经网络对原始图像数据进行特征提取；

融合模块，用于获取传感数据，并根据所述传感数据生成一维向量，并通过全连接网络提取特征，以将所述卷积神经网络的输出拉平成一维向量，并和所述全连接网络的输出相连接，得到所有数据的特征向量，以及利用全连接层，将所述特征向量进行融合；

其中，利用监督学习得到抽象环境特征，以通过所述抽象环境特征进行策略决策训练；

所述抽象环境特征s_t为：

s_t＝g(f(o₀)，f(o₁)，f(o₂)，...，f(o_t))，

其中，t为第t个时刻，s_t为t时刻的抽象环境特征，o₀为第0时刻的观测值，o₁为第1时刻的观测值，o₂为第2个时刻的观测值，o_t为第t个时刻的观测值，f(o_t)为对t时刻的观测值使用映射f进行特征提取后的输出，g(f(o₀)，f(o₁)，f(o₂)，...，f(o_t))为对t时刻以及t之前的观测进行特征提取，并针对这些特征使用映射g进行特征融合得到t时刻的抽象环境特征。