[发明专利]基于混沌与强化学习的交通流预测的并行方法

权利要求书

1.基于混沌与强化学习的交通流预测的并行方法，其特征在于：

(1)对数据进行预处理，初始化嵌入维度和时间延迟，并进行混沌性质分析及通过混沌模型生成对比混沌时间序列，然后对交通流时间序列和对比混沌时间序列进行重构和标准化处理并进行数据集划分；

(2)构造强化学习的训练环境和对比环境，确定准确度边界，并以此来确定训练环境和对比环境奖励与惩罚函数以及actor的动作空间；

(3)构造actor-critic的神经网络模型结构，并初始化参数和更新方式；

(4)通过Ray并行框架在从进程中产生多个actor-critic模型与对比环境进行互动，通过与主进程的中央神经网络模型global的离散度对比和奖励来实现并行更新，并通过学习到的主进程的global模型对对比数据测试集上的数据进行预测验证，然后将对比环境更换为训练环境使用交通流数据进行训练并测试；

基于混沌与强化学习的交通流预测的并行方法，在数据预处理过程中其特征在于：

Step1_1，初始化重构交通流时间序列数据的嵌入维度m和时间延迟k；

Step1_2，通过Wolf法计算重构后交通流时间序列数据的最大Lyapunov指数，分析交通流时间序列的混沌特性；

Step1_3，初始化混沌模型生成对比混沌时间序列，混沌模型为X_i+1＝cX_i(1-X_i)，其中X_i+1的集合为生成的混沌时间序列，c为混沌模型控制参数；

Step1_4，初始化重构对比混沌时间序列数据的嵌入维度md和时间延迟kd；

Step1_5，对交通流时间序列和对比混沌时间序列进行标准化处理，即计算ti＝(ti-tm)/σ，tdi＝(tdi-tdm)/σd，其中tm为交通流时间序列ti数据的平均值，σ为交通流时间序列数据的标准差，tdm为对比混沌时间序列tdi数据的平均值，σd为对比混沌时间序列数据的标准差；

Step1_6，通过预设的嵌入维度m，md和时间延迟k，kd对交通流时间序列和对比混沌时间序列进行重构，重构后的数据为：

T1＝[t₁,t_1+k,t_1+2k,…,t_1+(m-1)k],T2＝[t₂,t_2+k,t_2+2k,…,t_2+(m-1)k],…,Ti＝[t_i,t_i+k,t_i+2k,…,t_i+(m-1)k]；

Td1＝[td₁,td_1+kd,td_1+2kd,…,td_1+(md-1)kd],Td2＝[td₂,td_2+kd,td_2+2kd,…,td_2+(md-1)kd],…,

Tdi＝[td_i,td_i+kd,td_i+2kd,…,td_i+(md-1)kd]；

其中[T1,T2,…,Ti]为重构后的交通流时间序列数据，[Td1,Td2,…,Tdi]为重构后的对比混沌时间序列数据；

Step1_7，对重构后的交通流数据和对比混沌时间序列数据分别选取后n个点作为交通流数据测试集和对比数据测试集进行测试，其余点作为交通流数据训练集和对比数据训练集进行训练；

数据预处理过程描述完毕；

基于混沌与强化学习的交通流预测的并行方法在强化学习环境构造过程中包括：

Step2_1，将经过预处理的交通流数据训练集数据作为环境中的状态空间并按照时间顺序排列，具体如下所示：

S₁＝T1＝[t₁,t_1+k,t_1+2k,…,t_1+(m-1)k],

S₂＝T2＝[t₂,t_2+k,t_2+2k,…,t_2+(m-1)k],

…,

S_n＝Tn＝[t_n,t_n+k,t_n+2k,…,t_n+(m-1)k]；

Step2_2，将相邻状态空间的最后一维数据依次进行求差操作求出动作空间范围，即t_c1＝t_2+(m-1)k-t_1+(m-1)k,t_c2＝t_3+(m-1)k-t_2+(m-1)k,…,t_ci-1＝t_i+(m-1)k-t_i-1+(m-1)k，并求出动作空间范围和差值的标准差，动作空间范围为：[d_min，d_max]，标准差为σ，其中d_min，d_max分别为差值的最小值和最大值；

Step2_3，以t_ci为中心将状态Si对应的动作空间的奖励按照正态分布进行分布，分布函数为ri＝1/((2Π)^1/2σ)exp(-(di-tci)²/(2σ)²),其中di代表动作空间内的动作i；

Step2_4，依据预测值与真实值差值最小条件求出表示预测准确度的范围边界，具体描述为：

Step2_4_1，根据动作空间范围与奖励分布设定条件函数与约束函数，具体公式描述为：

(1)F＝((t_i+1+(m-1)k)²-t_ui²)^1/2；

(2)t_i+1+(m-1)k-t_ui＝-d_max；

(3)t_ui-t_i+1+(m-1)k＝d_min；

其中(1)为条件函数，结果为预测值与真实值的欧氏距离，(2)和(3)为约束函数，t_ui为状态S_i下的预测值，t_i+1+(m-1)k为状态S_i+1的真实值；

Step2_4_2，依据条件函数与约束函数确定求解函数，具体公式为：

L1＝(t_i+1+(m-1)k-t_ui)²+1/(4a)*((max(0,b1-2a(t_i+1+(m-1)k-t_ui+d_max)))²-b²)；

L2＝(t_i+1+(m-1)k-t_ui)²+1/(4a)*((max(0,b2-2a(t_ui-t_i+1+(m-1)k-d_min)))²-b²)；

其中L1，L2分别为准确度的右边界和左边界求解函数；

Step2_4_3，使dL1/dt_ui＝0，dL2/dt_ui＝0，计算t_ui1＝(2t_i+1+(m-1)k-b1+2a(t_i+1+(m-1)k+d_max))/(2(a-1)),t_ui2＝(2t_i+1+(m-1)k-b2+2a(t_i+1+(m-1)k-d_min))/(2(a-1))，其中t_ui1为准确度右边界值，t_ui2为准确度左边界值；

Step2_4_4，对a，b1，b2赋初值，设定t_ui1，t_ui2的初始值，其中a为惩罚因子，b1，b2为乘子；

Step2_4_5，设定迭代次数k，并按照下面公式进行迭代：

b1＝max(0,b1-2a(t_i+1+(m-1)k-t_ui+d_max))；

b2＝max(0,b1-2a(t_i+1+(m-1)k-t_ui-d_min))；

t_ui1＝(2t_i+1+(m-1)k-b1+2a(t_i+1+(m-1)k+d_max))/(2(a-1))；

t_ui2＝(2t_i+1+(m-1)k-b2+2a(t_i+1+(m-1)k-d_min))/(2(a-1))；

Step2_4_6，对迭代输出的t_ui1，t_ui2结果分别进行向上取整和向下取整操作，并将t_ui1，t_ui2的取整结果设置为准确度范围边界；

Step2_5，将dli＝t_ui1-t_i+1+(m-1)k，dri＝t_ui2-t_i+1+(m-1)k，分别设置为状态空间Si对应动作空间的左边界值和右边界值，取边界内的奖励值为ri，边界外的奖励值为ri＝-1/ri；

Step2_6，将交通流数据训练集数据替换为对比数据训练集数据重复以上步骤构造对比环境；

强化学习环境构造过程描述完毕；

基于混沌与强化学习的交通流预测的并行方法在初始化神经网络模型过程中包括：

Step3_1，初始化actor网络结构，actor网络实现估计智能体的行动策略，并且策略具有连续性，设置actor的网络输入神经元个数为m即环境的状态维度，当环境为训练环境时m为训练环境的状态维度，当环境为对比环境时m为对比环境的状态维度，中间层网络结构使用CRU结构的神经网络，输出为[d_min，d_max]的动作概率分布并使用softmax激活函数构建模型；

Step3_2，初始化critic网络结构，critic网络实现估计状态的价值，设置critic的网络输入神经元个数为m，中间层网络结构使用CRU结构的神经网络，输出为[0，1]的数值并使用ReLU激活函数构建模型；

Step3_3，初始化actor与critic的网络参数θ_a，θ_c，其中actor网络用来学习智能体的行为策略，critic网络用来学习预测行为前后状态的价值差；

Step3_4，设定actor与critic的损失函数分别为：

loss_a＝1/n*(A(s1,a1)*log(a1|s1))+(A(s2,a2)*log(a2|s2))+…(A(si,ai)*log(ai|si))+(A(sn,an)*log(an|sn)),其中A(si,ai)＝ri+G*Si+1+ri+1+G²*Si+2+…+rn+G^n-i*Sn，si为状态值，ai为动作值，ri为环境的奖励值，G为状态更新率，Vi为critic模型对状态Si+1的估计值；

loss_s＝-((V1-S1)²+(V2-S2)²+…+(Vi-Si)²+(Vn-Sn)²)/n,其中

Vi＝ri+G*Si+1+ri+1+G²*Si+2+…+rn+G^n-i*Sn,其中Si为critic模型对状态Si的价值估计值；

Step3_5，设定actor与critic模型的初始动作策略，策略选择函数为：

A＝μ*max(pa1,pa2,…,pai,pan)+(1-μ)*rand(pa1,pa2,…,pai,pan),其中μ为贪心比例，pai代表动作i的估计值，rand为随机函数；

Step3_6，根据critic模型的损失函数loss_s与actor模型的损失函数loss_a的梯度ts，ta，依据梯度进行参数更新；

初始化神经网络模型结构及更新方式过程描述完毕；

基于混沌与强化学习的交通流预测的并行方法在并行强化学习过程中包括：

Step4_1，初始化主进程Master及Master内global模型的actor参数θ_ga，critic参数θ_gc，初始化从进程Slave_1，Slave_2，...，Slave_i，Slave_m及从进程内的actor-critic模型J1,J2,…,JM,并将主进程Master内global的参数发送到每个从进程中进行初始化；

Step4_2，设置从进程Slave_i的本地学习时间间隔T，本地更新数目Tm与公共更新数目Tg，并统一初始化每个从进程；

Step4_3，从进程Slave_i内的actor-critic模型Ji通过对状态的预测结果进行动作选择，其中当状态多次未改变时使用动作选择的优化策略函数，具体为：

Step4_3_1，设定探索区间[d_min，d_max]，最终区间长度e，探索次数n，辨别常数b0；

Step4_3_2，计算试探动作值以及奖励值，具体为：

Al＝d_min+F_n-2/F_n*(d_max-d_min)，Ar＝d_min+F_n-1/F_n*(d_max-d_min)，Rl＝ri(Al)，Rr＝ri(Ar)，其中Al，Ar为试探动作范围的左右边界值，F_n为第n项的Fibonacci数列值，Rl，Rr为左右动作边界试探的奖励值；

Step4_3_3，使n＝n-1，并开始迭代计算，具体为：

当AlAr时，使d_max＝Ar，Ar＝Al，Rr＝Rl，若n2，则计算Al＝d_min+F_n-2/F_n*(d_max-d_min)，Rl＝ri(Al)，否则计算Al＝Al-b，Rl＝ri(Al)；

当Al＝Ar时，使d_min＝Al，Al＝Ar，Rl＝Rr，若n2，则计算Al＝d_min+F_n-1/F_n*(d_max-d_min)，Rr＝ri(Ar)，否则计算Ar＝Ar+b，Rr＝ri(Ar)；

Step4_3_4，当(Rr0 U Rl0 U n＝1，U为逻辑或运算)为真时迭代结束，从进程Slave_i内的actor-critic模型Ji转为使用初始动作策略进行探索；

Step4_4，从进程Slave_i将本地actor-critic模型Ji收集的结果以[S,A,R]的形式按照时间顺序保存到本地记忆库中；

Step4_5，从进程Slave_i内的actor-critic模型Ji以T时间间隔从本地记忆库中选择Tm个记忆进行学习并进行本地参数更新，当本地记忆库数目达到Tg时将模型最新参数Jia，Jic，Tg-Tm的奖励Rm和0-Tm时间内的奖励R0上传到主进程Master内，并将本地记忆库进行清空处理；

Step4_6，主进程Master内的global模型根据global参数与从进程Slave_i内的actor-critic模型Ji上传的参数进行参数更新，具体为：

Step4_6_1，计算主进程Master内的global模型与从进程Slave_i内的actor-critic模型Ji上传的本地模型参数的离散度，具体公式为：

D(Ga||Jia)＝Ga1*log(Ga1/Jia1)+Ga2*log(Ga2/Jia2)+…+Gai*log(Gai/Jiak)+Gan*log(Gan/Jian)；

D(Gc||Jic)＝Gc1*log(Gc1/Jic1)+Gc2*log(Gc2/Jic2)+…+Gci*log(Gci/Jick)+Gcn*log(Gcn/Jicn)；

其中D(Ga||Jia)，D(Gc||Jic)分别表示主进程Master内的global模型与从进程Slave_i内的Ji模型中的actor参数离散度和critic参数离散度；

Step4_6_2，计算奖励Rm与奖励R0的差值Rt用于下一步更新，其中Rt＝Rm-R0；

Step4_6_3，计算损失函数实现参数优化更新，损失函数具体为：

Loss_ga＝-Rt*D(Ga||Jia)；

Loss_gc＝-Rt*D(Gc||Jic)；

Step4_6_4，依据损失函数Loss_ga，Loss_gc对主进程Master内的global模型参数进行损失最小化更新；

Step4_7，当主进程Master内的global模型在Tm时间内的总奖励RgRmax时，使用global模型的最新参数对对比数据测试集上的数据进行预测并计算绝对误差，验证算法对混沌时间序列预测的准确性及可行性；

Step4_8，将对比环境更换为训练环境对交通流数据进行学习，并在交通流数据测试集上进行测试；

并行强化学习过程描述完毕。