[发明专利]两轮自平衡车的机器学习控制方法

说明书

本发明公开了一种两轮自平衡车的机器学习控制方法，包括：S1：获取平衡车当前的状态量，所述状态量包括倾角和角速度；S2：根据最优行为的概率、当前状态下的状态行为指标和所述当前的状态量得到驱动电机的控制信号；S3：根据所述控制信号控制驱动电机运行，使所述平衡车趋于平衡，并采用预设评价函数对所述平衡车的状态量改变进行评价得到报酬评价值；S4：根据所述报酬评价值更新当前状态下的状态行为指标；S5：观测并更新所述平衡车的状态量，并返回步骤S1。本发明具有如下优点：无需模型的先验知识，具有自学习、自适应的优点，应用灵活。

技术领域

本发明属于机器人与信息技术交叉领域，具体涉及一种两轮自平衡车的机器学习控制方法。

背景技术

自平衡车是近年来出现的一种个人便捷交通工具，传统平衡车的控制都是基于经典PID控制方法。传统的PID控制方法需要具备一定的先验知识，才能实现对平衡车的自动控制，导致应用不灵活。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种两轮自平衡车的机器学习控制方法，无需模型的先验知识，具有自学习、自适应的优点，应用灵活。

为了实现上述目的，本发明的实施例公开了一种两轮自平衡车的机器学习控制方法，包括以下步骤：S1：获取平衡车当前的状态量，所述状态量包括倾角和角速度；S2：根据最优行为的概率、当前状态下的状态行为指标和所述当前的状态量得到驱动电机的控制信号；S3：根据所述控制信号控制驱动电机运行，使所述平衡车趋于平衡，并采用预设评价函数对所述平衡车的状态量改变进行评价得到报酬评价值；S4：根据所述报酬评价值更新当前状态下的状态行为指标；S5：观测并更新所述平衡车的状态量，并返回步骤S1。

进一步地，步骤S2进一步包括：根据以下公式并以概率∈从所有可能的a取值域中随机选择行为a：

a＝arg max_a′{Q(s,a′)}

其中，s为当前的状态量，θ为当前时刻平衡车的倾角，为当前时刻平衡车倾角的角速度，0<∈<1，a′为所述驱动电机的力矩取值。

进一步地，采用以下公式得到所述报酬评价值：

其中c₁和c₂为正常数，r(s,a)为所述报酬评价值。

进一步地，采用以下公式更新所述状态行为指标：

Q(s,a)←Q(s,a)+α[r(s,a)+γmax_a'Q(s',a')-Q(s,a)]

其中，Q(s,a)是当前状态下的状态行为指标，γ是折扣因子且0<γ<1，α是一个惯性因子常数。

进一步地，利用陀螺仪测量得到所述平衡车的倾角和角速度。

本发明实施例的两轮自平衡车的机器学习控制方法，与现有技术相比具有如下优点：

1、本发明的控制方法无需知道被控对象平衡车的物理模型和先验知识，学习得到的控制策略能够自适应被控对象的变化，当被控对象、运行环境发生较大变化时，无需像传统PID控制需要调整参数，本发明能够通过自学习逐渐习得新的最优控制律；

2、本发明的学习算法是在线学习算法，可以在实际运行中不断进行策略更新，进而逐渐改进控制效果；

3、本发明对设备有着较少的设定要求。可直接在现有室内环境控制设备中实现。该系统与算法独立于底层设备的具体控制算法，推广性更强。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。