[发明专利]一种双馈风力发电机的量子深度强化学习控制方法

权利要求书

1.一种双馈风力发电机的量子深度强化学习控制方法，其特征在于，其决策依赖于当前的状态和评价，实现实时决策；此方法能反映双馈风力发电机输入输出数据，即长期运行数据和故障后的定子磁链变化数据；当所提方法进行充分训练后，根据任一当前状态获得输出动作；该方法在使用过程中的步骤为：

(1)存储多组双馈风力发电机的长期运行数据和不同情况下的定子磁链变化情况的数据；

(2)从步骤(1)得到的数据中进行提取，采用提取到的数据对量子深度强化学习控制方法进行训练；

(3)利用实时数据在量子深度强化学习控制方法中进行计算，得到双馈风力发电机的实时控制指令；

此方法包含贝叶斯量子反馈控制、深度学习和强化学习三个过程；

贝叶斯量子反馈过程分为状态估计和反馈控制；状态估计是根据双馈风力发电机的输出结果和已有知识对系统当前状态进行最优估计，反馈控制是利用双馈风力发电机的状态估计信息、计算选择合适的输入来影响系统的行为；消相干是量子系统的一种性质，指量子态由于环境相互作用引起的量子态的量子相干性；在抑制量子比特消相干过程中，量子比特被一个弱相互作用的探测器连续测量，测量值被代入特定的演化方程来监视量子比特密度矩阵的演化，这一演化与期望演化比较，其中的误差被用来产生反馈信号控制量子比特参数，目的是减少与期望量子比特状态之间的差异，从而抑制消相干，提升反馈性能；假设有两个特征态1和2，则ρ_ij则代表量子比特在状态i下的概率，有ρ₁₁+ρ₂₂＝1，而ρ₁₂和ρ₂₁代表量子相干；采用贝叶斯量子反馈形式，有状态演化方程：

式中I(t)为探测器输出电流，H为哈密顿量，ΔI为两量子点之间电流差，ε是表征两量子点能量不对称的量，S₀为探测器平均噪声，为消相干率；

所述的深度学习采用卷积神经元网络模型下的反向传播方法；反向传播方法使卷积神经网络中的权值参数和偏置参数与实际值之间的残差从输出层向隐含层反向传播直至传播到输入层，在反向传播的过程中，根据误差结果按照使误差减小最快的方向调整直至收敛度和精度满足要求为止；其求解误差的步骤公式如下：

误差E的来源就是实际输出和期望输出的差值，即：

根据上式将误差E展开到隐含层为：

根据上式将误差E进一步展开至输入层为：

式中d_k代表输出层期望输出向量元素，O_k代表输出层的实际输出元素，x_i代表输入层向量元素，y_j代表隐含层输出向量元素，net_k代表输出层的输出向量元素，w_jk代表隐含层到输出层的权值矩阵元素，v_ij代表输入层到隐含层的权值矩阵元素；

根据求得误差得到权值调整公式，即：

从上式知输出层和隐藏层的权值调节过程，调节过程和三个因素有关即：学习率η，本层输出的误差信号err以及本层的输入信号x或y，其中输出层的误差信号与网络的期望输出和实际输出之差有关，直接反映输出误差；

所述的强化学习采用的Q学习基于马尔科夫决策过程，即下一时刻状态仅与当前状态有关，而与前序状态无关；系统在环境中收集初始状态，然后基于目前的状态采取相应的动作，同时会获得相应的奖励，接着进入下一个状态，之后循环往复，系统根据每次动作获得的奖励生成一个全面的Q值表，以此记录获得最大奖励的动作流程，实现最佳决策；贝叶斯量子反馈与深度、强化学习相配合，系统进行海量数据训练后，从环境中获取状态信息，并将实时双馈风力发电机的运行状态映射到相应控制指令上，提高双馈风力发电机的控制反馈效果，提升故障后定子磁链的稳定性；强化学习的Q值被更新为：

Q(s,a)＝Q(s,a)+α[r+γargmax_a'Q(s',a')-Q(s,a)]

式中Q(s,a)代表当前状态的平均奖赏值；s代表当前状态，a代表当前动作；s'代表在状态s下执行动作a后达到的下一状态；a'代表下一状态的动作；r+γargmax_a'Q(s',a')代表得到的最优预测累计奖赏值；任一控制策略下，当前状态的价值函数，等于下一状态的价值函数与当前状态转换到下一状态的代价。