[发明专利]一种强化学习训练方法及基于强化学习的决策方法

说明书

本发明提供一种强化学习训练方法及基于强化学习的决策方法，其中，强化学习模型训练方法，包括如下步骤：获取多组历史状态数据；将每一组历史状态数据输入至强化学习模型，得到初步决策数据；将所述每一组历史状态数据和所述初步决策数据输入至预先建立的贝叶斯神经网络模型，得到状态变化量以及奖励值，所述状态量变化值为当前状态数据与下一状态数据的差值；根据所述每一组历史状态数据以及对应的初步决策数据、状态变化量以及奖励值更新所述强化学习模型的模型参数。通过实施本发明，能够增加强化学习模型训练样本量，提高强化学习效果，提高动态决策规划结果的准确性。

技术领域

本发明涉及机器学习领域，具体涉及一种强化学习训练方法及基于强化学习的决策方法。

背景技术

目前，强化学习是对多个应用场景进行动态决策规划的一种有效方式，它注重主体在一个环境中应该如何进行行动从而达到最大化累积奖励。强化学习应用场景一般包括交通、金融、能源、商业管理等多个领域，如对航班舱位管理，通过基于航班的多个状态数据(如剩余舱位数、舱位销售量等)使用强化学习对航班舱位进行控制管理。

相关技术中，对模型进行强化学习时，需要大量的状态数据以便于对强化学习模型进行训练，而实际上，一般用于模型训练的真实状态数据是基于真实场景中执行固定决策得到的，表征状态的数据量有限，导致强化学习模型训练样本不足，使得模型的强化学习效果不佳，导致动态决策规划结果不准确。

发明内容

有鉴于此，本发明实施例提供了一种强化学习训练方法及基于强化学习的决策方法，以解决现有技术中动态决策规划结果不准确的缺陷。

根据第一方面，本发明实施例提供一种强化学习模型训练方法，包括如下步骤：获取多组历史状态数据；将每一组历史状态数据输入至强化学习模型，得到初步决策数据；将所述每一组历史状态数据和所述初步决策数据输入至预先建立的贝叶斯神经网络模型，得到状态变化量以及奖励值，所述状态量变化值为当前状态数据与下一状态数据的差值；根据所述每一组历史状态数据以及对应的初步决策数据、状态变化量以及奖励值更新所述强化学习模型的模型参数。

可选地，根据所述每一组历史状态数据以及对应的初步决策数据、状态变化量以及奖励值更新所述强化学习模型的模型参数，包括：将所述每一组历史状态数据以及对应的初步决策数据、状态变化量以及奖励值组成数据集，得到多个数据集；根据预设比例，将所述多个数据集以及多组历史数据输入至强化学习模型，更新所述强化学习模型参数，所述历史数据包括相邻状态数据以及对应的决策数据。

根据第二方面，本发明实施例提供一种基于强化学习的决策方法，包括如下步骤：获取任一应用场景的当前状态数据；将所述当前状态数据输入至第一方面或第一方面任一实施方式所述的强化学习训练方法训练得到的强化学习模型，得到决策数据。

根据第三方面，本发明实施例提供一种基于强化学习的航空开舱决策方法，包括如下步骤：获取当前状态数据，所述当前状态数据包括多个平行航班的销售量、剩余座位量、多个平行航班距离起飞的时间以及多个舱价位数据；将所述当前状态数据输入至如第一方面或第一方面任一实施方式所述的强化学习训练方法训练得到的强化学习模型，得到决策数据，所述决策数据包括多个平行航班的开舱情况数据。

可选地，将所述当前状态数据输入至如第一方面或第一方面任一实施方式所述方法还包括：将通过所述强化学习模型得到的决策数据输入至所述预先建立的贝叶斯神经网络模型，得到状态变化量以及奖励值；根据所述每一组当前状态数据以及对应的决策数据、状态变化量以及奖励值更新所述强化学习模型的模型参数。