[发明专利]基于强化学习的大型电动汽车充电站的充电优化调度方法

说明书

本发明提供了一种基于强化学习的大型电动汽车充电站的充电优化调度方法。首先在当下实际的电动汽车充电站采集数据，并根据状态空间、动作空间及目标函数的定义对采集的数据进行处理，然后运用处理后的数据进行神经网络模型的训练及测试，在保证所用模型的有效性的前提下，将充电站的实际情况作为模型的输入，以模型的输出作为电动汽车充电的参考策略进行实际的充电操作。有效了解决了充电环境下的不确定性问题，而且本发明的方法并不受限于充电站的规模以及充电站达到的电动汽车的数量，训练所得的模型更具有通用性，适用于不同规模下的电动汽车充电站。为电动汽车充电站解决充电调度模型的通用性以及最大化能源和经济效益问题。

技术领域

本发明涉及一种基于强化学习的大型电动汽车充电站的充电优化调度方法，属于智能优化调度技术领域。

背景技术

当今社会随着人们对环境问题的日益关切，能源需求逐渐增大，日常能源消耗量也日益增大，电动汽车作为新型交通工具，凭借其污染轻、噪声小和驾驶成本低等特性取得了长足的发展。但是大规模电动汽车接入电网会对电力系统的平稳运行造成极大的影响。与燃油汽车能够迅速加油瞬间完成能量的补充不同，电动汽车的充电过程具有一定的周期性，考虑到大多数用户选择在无出行需求的时段将汽车暂放于充电站充电以及不同时段电价的变化等实际情况，对电动汽车充电站的充电调度方法进行研究。

目前传统的充电站还采用人工调度的方案，大多充电站采取先到先充电策略，并未充分考虑电网的负载以及电价的实时变化，经济效益以及充电效率低下。而在电动汽车充电调度策略领域的学术研究主要采用模型预测控制，但是在充电汽车的实际环境中，对于充电站而言，电动汽车的达到时间具有不确定性，客户的主动行为具有随机性(如延迟取车，提前取消订单)，因而运用的固定的调度模型求解获取调度方案效果有限，而且对于不同的规模的充电站不具备通用性。因而当下怎样解决调度模型的通用性以及最大化能源和经济效益是各个电动汽车充电站迫切需要解决的问题。

发明内容

本发明目的在于提出了一种基于强化学习的大型电动汽车充电站的电动汽车充电优化调度方法。

本发明具体包括如下步骤：

步骤一、数据集准备：

直接采集充电站内历史数据，为状态空间矩阵和动作空间矩阵的创建做准备；所需要的数据主要包括电动汽车的到达充电站的时间t^arrival、离开充电站的时间Δt^depart以及其充电需求W；为方便计量，将充电需求转化为电动汽车充满所需要的充电时间Δt^charge；

步骤二、定义状态空间：

电动汽车充电特征：电动汽车到达时间、电动汽车离开时间、需要的充电量和电动汽车充电率；由于未来电动汽车的到达时间未知，因此在当前的电动汽车表示中不包括到达时间；如果电动汽车的充电率w_s，则充电量转换为完成充电所需的时间为：

Δt^charge＝W/w_s (1)；

如果系统中有N_s辆电动汽车，则其特征V表示为如下所示集合：

式子(1)中表示第N_s辆电动汽车的离开时间，表示第N_s辆电动汽车的所需充电量；