[发明专利]一种基于深度Q神经网络的主动悬架强化学习控制方法

说明书

本发明涉及一种基于深度Q神经网络的主动悬架强化学习控制方法，属于汽车动态控制和人工智能技术领域。本发明中强化学习控制器主体从悬架系统中获取车身加速度、悬架动挠度等状态观测量，利用策略来决定合理的主动力施加给悬架系统，悬架系统根据主动力改变当前时刻的状态，同时产生一个奖励值来评判当前主动力的好坏。设定合理的奖励函数，结合从环境中获取的动态数据，便能确定出一种最优策略来决定主动控制力的大小，使得控制系统整体在大量训练下性能更加优越。基于深度Q神经网络的强化学习控制方法使得主动悬架系统能够动态自适应调节，从而克服传统悬架控制方法难以解决的参数不确定性和多变路面干扰等因素带来的影响，在保证车辆整体的安全性前提下，尽可能提高乘客的乘坐舒适性。

技术领域

本发明主要涉及汽车动态控制技术领域，具体为一种基于深度Q神经网络的主动悬架强化学习控制方法。

背景技术

随着科学技术的不断发展和人民生活水平的日益提高，在不久的将来，我国汽车保有量将满足一户一辆的需求。汽车的平顺性、乘坐舒适性作为人体能直接感觉到的指标，某种程度上直接决定了汽车产品的价值。汽车悬架系统作为汽车行驶系统的一部分，对于汽车的乘坐舒适性、行驶平顺性以及操纵稳定性至关重要。传统被动悬架参数一经确定，无法更改，也无法根据汽车行驶状况而调节，性能有所限制。主动悬架系统能根据不同的路况信息，自身进行实时调节，保证汽车的整体的安全性，同时提高乘客的乘坐舒适性。

传统的悬架控制方法如PID控制、天棚阻尼(Skyhook)控制、滑模控制等偏为保守，依赖于系统的具体模型，甚至有线性模型的约束，同时不能很好处理行驶过程中悬架自身参数不确定的情况，无法适应复杂多变的路面情况。汽车行驶过程中，弹簧的老化、阻尼的氧化、乘员数目的变化等都会带来不可避免的参数变化，使得模型具有复杂的非线性，传统控制方法不能很好地解决不确定性所带来的影响。近年来，人工智能技术飞速发展，各种人工智能算法不断应用到控制领域。强化学习方法没有严格的理论框架，仅仅通过环境获得的动态数据观测量，制定出一种最优策略来确定施加给悬架的主动力，从而能够达到减振目的，通过设置合理的奖励函数，最终实现悬架系统的多目标控制。强化学习的泛化性能使得车辆在充足训练后能够适应大部分路面。本发明采用基于神经网络的强化学习方法，使得主动悬架系统能够动态自适应调节，从而克服传统悬架控制方法无法解决的参数不确定性和多变路面干扰等因素带来的影响。

发明内容

基于以上原因，本发明提供了一种基于深度Q神经网络的主动悬架强化学习控制方法，在仿真环境中进行训练，训练成功后悬架可以自主生成策略，作动器输出合理的主动力，能够实现保证车辆整体的安全性，同时提高乘客的乘坐舒适性。

本发明通过以下技术方案实现：

一种基于深度Q神经网络的主动悬架强化学习控制方法，主动悬架强化学习控制框架包括以下几部分：主动悬架强化学习控制器主体、主动悬架系统、状态观测量、主动悬架控制力和奖励。控制器从悬架系统中获取悬架动挠度、车身加速度和车身垂向位移等状态观测量，利用一定的策略来决定每个状态下采取何种主动力施加给悬架，悬架根据当前施加的主动力改变状态，并产生一个奖励用来评判当前动作的好坏；其中利用基于深度Q网络的强化学习算法来更新策略。

首先所述主动悬架强化学习算法包括如下几点定义：

(1)获取主动悬架系统状态信息，定义MDP(Markov Decision Processes，马可夫决策过程)过程的状态s＝[y₁,y₂,y₃]。其中，y₁为车身加速度，y₂为悬架动挠度，y₃为车身位移。

(2)定义MDP过程的动作a＝[F_a]，即悬架系统作动器主动控制力。