[发明专利]一种基于确定性策略梯度学习的PHEV能量管理方法

权利要求书

1.一种基于确定性策略梯度学习的PHEV能量管理方法，其特征在于：具体包括以下步骤：

步骤一、利用深层神经DNN网络分别搭建动作Actor网络和动作价值Critic网络，共同组成确定性策略梯度学习算法的基本网络框架即AC网络，以构建PHEV能量管理策略学习网络；并对所述AC网络参数进行初始化和状态数据的归一化处理；

步骤二、对所述动作价值Critic网络进行预训练，定义并初始化用于存储后续训练产生的状态转移样本的存储空间作为经验池，获取初始时刻的状态向量，采用∈退火贪婪策略选择当前状态下的动作向量，存储当前时刻的状态转移样本，并对所述动作价值Critic网络进行更新；以网络更新迭代次数作为Critic网络预训练和AC网络训练是否满足要求的依据；

步骤三、基于所述步骤二中所选择的当前状态下的动作向量，获取动力系统的控制动作量和驾驶需求，计算PHEV动力系统的动力响应，并评估发动机燃油消耗水平，计算动力电池的状态转移，获取下一时刻状态向量并计算奖赏信号；

步骤四、对动力电池荷电状态SOC参考值初始化并更新SOC偏差，并依次对累积行驶距离以及所述动力电池参考值进行更新；

步骤五、获取当前时刻状态向量并计算当前时刻动作向量，调整动作向量输出频率，动力系统响应动作向量后对下一时刻重复本步骤的能量管理策略在线应用过程直到行驶结束；

步骤六、根据实时行驶车速更新速度转移概率矩阵，记录瞬时燃油消耗率，更新油耗移动平均值，检测是否需要更新能量管理策略；如需要更新，则执行生成新的训练工况，用于所述步骤一与步骤二对所建立的PHEV能量管理策略模型网络进行训练，从而实现所述模型网络的更新。

2.如权利要求1所述的方法，其特征在于：所述步骤一具体包括以下步骤：

(1.1)定义状态空间，建立电量消耗阶段能量管理策略π_BM并训练，其状态空间维数为N_state＝7，状态空间S和状态向量s(k)分别定义如下：

S＝{SoC,ΔSoC,T_req,P_req,acc,v,d}

s(k)＝[SoC(k),ΔSoC(k),T_req(k),P_req(k),acc(k),v(k),d(k)],s(k)∈S

其中，ΔSoC为SoC偏差值，T_req为需求驱动转矩，需求驱动功率P_req＝W_req·T_req，W_req为需求驱动转速，acc为车辆加速度，v为车速，d为行驶距离，k为当前时刻；

(1.2)建立Actor网络，记为a＝μ(s|θ^μ)，μ表示Actor网络，其网络参数为θ^μ，以状态向量s为输入，输出动作向量为a，策略网络结构为：输入层-全连接层-输出层；

(1.3)建立Critic网络，具有两路支流的深层全连接神经网络，记为q＝Q(s,a|θ^Q)＝V(s|θ^V)+A(a|θ^A)，Q表示Critic网络,其参数集合和动作价值输出分别为θ^Q和q，具体分为以θ^V为参数的状态价值网络支流V和以θ^A为参数的动作优势网络支流A；两路支流具有相同的隐含层结构；状态价值网络支流输入层输入维数与状态空间维数N_state相同，输出层为线性标量输出；动作优势网络支流输入层输入维数与动作空间维数N_action相同，输出层为线性标量输出；

(1.4)初始化网络参数：采用Xavier初始化方法，产生Actor和Critic网络的初始网络权重和偏置,具体地，产生区间中的均匀分布产生网络初始化参数，其中fan_in和fan_out分别为所需初始化参数层的输入和输出神经元个数；

(1.5)建立用于稳定训练的目标网络：复制一套与步骤(1.2)-(1.4)所建立的Actor和Critic网络结构和参数均相同的网络，记为目标Actor网络a＝和目标Critic网络其中μ_T表示目标Actor网络，其参数为Q_T表示目标Critic网络，其参数为

(1.6)训练数据归一化预处理：选定训练工况，计算获得其速度序列、加速度序列、以及需求转矩和功率序列，并分别计算其均值和标准差并保存，按照标准归一化通用公式进行归一化处理

其中，mean(X)和std(X)分别表示输入数据X的均值和标准差；

当且仅当此时为电量消耗阶段策略训练，需对行驶距离d按最大行驶里程进行线性归一化。