[发明专利]用于计算机辅助地控制和/或调节技术系统的方法

说明书

技术领域

本发明涉及一种用于计算机辅助地控制和/或调节技术系统的方法以及一种相应的计算机程序产品。

背景技术

如今，技术系统通常具有高复杂度，也就是说，技术系统由具有大量状态变量的状态来描述。另外，可以基于相应的动作变量在技术系统处执行大量不同的动作。在此，状态变量尤其是技术系统的可测量的状态参量，例如物理参量，如压力、温度、功率等等。动作变量尤其是技术系统的可调整的参量，例如燃料到燃气涡轮机中的燃烧室的输送。

在控制复杂技术系统时常常使用计算机辅助的方法，这些方法在考虑到预定标准的情况下优化技术系统的动态时间行为。这种方法的示例是学习方法，如从现有技术中充分公知的增强型学习方法（Reinforcement Learning（强化学习））。这样的学习方法的变型在文献DE 10 2007 001 025 B4中予以了描述。这些公知的方法通过确定在技术系统处执行的合适动作来优化技术系统的动态行为，其中所述动作包括技术系统中的确定的调整参量的变化，如阀门位置的变化、压力的升高等等。在此，每个动作都以合适的方式通过以奖励或惩罚形式的评价信号例如在考虑到成本函数的情况下被评价，由此可以实现技术系统的最优的动态行为。

在上述用于控制或优化技术系统的动态行为的标准方法中所存在的问题是，这样的方法仅能以有限的规模用于具有大量状态变量和动作变量的技术系统（即在由状态和动作构成的高维状态空间中）。

为了减少状态变量，从文献DE 10 2007 001 026 B4中公知基于回归神经网络对技术系统进行建模，其中回归隐藏层中的状态数目比输入层或输出层中小。在此，隐藏状态被用作为用于调节和/或控制技术系统的相应学习或优化方法的输入。该文献的方法尽管减小了隐藏层的状态空间的维数，但是未考虑到：为了对技术系统的动态行为建模实际上需要哪种信息内容。尤其是在输出层中在那里建模的动态特性的情况下总是从输入层中预测所有状态变量，而不分析为了对技术系统的动态行为进行建模实际上需要哪些状态变量。因此，该文献的方法尽管在缩小的状态空间上工作，但是并不保证：在该缩小的状态空间中正确地对技术系统的动态特性建模。这在建模时或在计算机辅助地控制和/或调节技术系统时导致较大的误差。

发明内容

本发明的任务是，提供一种用于控制和/或调节技术系统的方法，该方法以高的计算效率和精度对技术系统的动态行为进行建模。

该任务通过根据权利要求1的方法及根据权利要求15的计算机程序产品来解决。本发明的改进方案在从属权利要求中定义。

根据本发明的方法用于计算机辅助地控制或调节技术系统，该技术系统在多个时刻分别由具有多个状态变量的状态和在技术系统处执行的具有多个动作变量的动作以及所述状态和所述动作的评价信号来表征。

在根据本发明的方法中，利用包括输入层、回归隐藏层和输出层的回归神经网络基于来自已知状态、动作和评价信号的训练数据来对技术系统的动态行为进行建模，其中：

i）输入层由具有第一维数的第一状态空间构成，该第一状态空间包括技术系统的状态和在技术系统处执行的动作；

ii）回归隐藏层由具有第二维数的第二状态空间构成，该第二状态空间包括具有多个隐藏状态变量的隐藏状态；

iii）输出层由具有第三维数的第三状态空间构成，该第三状态空间被确定为使得其状态表示评价信号或者仅仅表示影响评价信号的状态变量和/或动作变量。

第一状态空间的维数因此对应于输入层中的状态变量和动作变量的数目。第二状态空间的维数由隐藏状态变量的数目给定。第三状态空间的维数对应于评价信号的维数（通常为一维）或影响该信号的状态变量和/或动作变量的数目。

对技术系统的动态行为建模以后，在根据本发明的方法中，在第二状态空间中的隐藏状态上通过在技术系统处实施动作来执行用于控制和/或调节技术系统的学习和/或优化方法。

根据本发明的方法的特征在于，使用回归神经网络，该回归神经网络的输出层受评价信号或仅受确定评价信号的参量影响。通过这种方式保证了：在回归神经网络中仅仅对实际上影响技术系统的动态特性的参量进行建模。由此，甚至在第二状态空间的第二维数降低的情况下也可以非常良好地对技术系统的动态行为进行建模。因此，使得能够基于隐藏层中的隐藏状态精确和计算高效地调节和/或控制技术系统。