[发明专利]基于强化学习的外骨骼机器人动力辅助控制方法

说明书

本发明属于工业生产及外骨骼机器人动力辅助领域，具体来说是在考虑外骨骼机器人搬运阶段、人体疲劳以及工件重量随机情况下，“人‑外骨骼‑生产线”系统下提出了一种基于强化学习的外骨骼机器人动力辅助控制方法。首先将外骨骼机器人搬运阶段类型Z、人体疲劳等级P以及工件的重量M作为参考外骨骼机器人动力辅助的状态变量，根据“人‑外骨骼‑生产线”系统特征建立强化学习模型；并依据强化学习模型需要建立各个状态信息的数学模型；再采用基于模拟退火的Q学习算法对所建强化学习模型进行策略求解，所得优化控制策略用以指导“人‑外骨骼‑生产线”系统在实际工作过程中选取合适的助力方案，实现系统生产率的提高。

技术领域

本发明属于工业生产及外骨骼机器人动力辅助领域，具体来说是在考虑外骨骼机器人搬运阶段、人体疲劳以及工件重量随机情况下，“人-外骨骼-生产线”系统下提出了一种基于强化学习的外骨骼机器人动力辅助控制方法。

背景技术

我国正在迎来以智能制造为特征的第四次工业革命，以机器人和柔性生产线为代表的智能装备将呈现爆发式增长。但在一些特殊生产环境中，生产线工人在一定时期内不能完全被机器取代。引入机器人辅助生产，减轻工人劳动强度，提高生产效率，是智能制造时代的重要课题。

其中，助力外骨骼机器人是一种新型的可穿戴式智能设备,在工业领域的应用前景广泛。通过动力辅助，外骨骼机器人能够协助生产线工人完成相应工作任务,增强工人的运动能力并减轻任务对工人的负荷。在实际应用中，随着适应不同场景以及不断提出的具体要求，传统上肢外骨骼机器人的人机共融智能化水平有待进一步提高。针对柔性生产线需要，提高外骨骼机器人动力辅助与生产线工人的智能共融水平，优化它们与生产线工人的协同作业性能，是一系列急需解决的关键问题。因此，针对柔性生产线需要研究外骨骼机器人动力辅助的控制策略，具有重要的现实意义。

发明内容

为了进一步提高工业领域外骨骼机器人与生产线工人的智能共融水平。本发明，针对柔性生产线环境下的外骨骼机器人动力辅助控制进行了以下发明工作：在考虑电能消耗的情况下，将外骨骼机器人搬运阶段、生产线工人实时的疲劳程度以及工件种类引入到外骨骼机器人动力辅助的控制中，建立“人-外骨骼-生产线”物理系统，再根据该系统特点，将其建立成强化学习模型。其中，疲劳状态信息通过实验数据拟合出了搬运各阶段工人上肢肌肉疲劳恢复数学模型；接着引入基于模拟退火的Q学习算法，根据无穷时段单位时间单位期望平均代价最小的目标进行仿真求解，最终得出系统性能最优的动力辅助策略，进一步提高人机共融水平与协调作业性能。

为实现上述目的，本发明采用如下技术方案：

本发明建立了“人-外骨骼-生产线”系统的物理模型，将工作过程分为搬运过程与返回过程。其中，工人在搬运站点搬起工件至指定存储库，即搬运过程；将工件放置存储库后，工人再次回到搬运站点，等待工件到达并进行下一次的搬运，即返回过程。其中，搬运阶段根据该系统简单定义为搬起阶段、平移阶段、卸载阶段和预备阶段。

基于强化学习的外骨骼机器人动力辅助控制方法，包括如下步骤，

步骤1，获取外骨骼机器人动力辅助的状态变量：外骨骼机器人搬运阶段类型Z、人体疲劳等级P以及工件的重量M；

步骤2，建立“人-外骨骼-生产线”系统的强化学习模型；

步骤3，根据强化学习模型，需要建立外骨骼机器人搬运阶段类型中的各个状态的肌体疲劳数学模型；

步骤4，采用基于模拟退火的Q学习算法对所建立的强化学习模型的优化目标进行控制策略求解。

本技术方案进一步的优化，外骨骼机器人搬运阶段类型Z包括搬起阶段、平移阶段、卸载阶段和预备阶段。

本技术方案进一步的优化，步骤2建立“人-外骨骼-生产线”系统的强化学习模型，具体包括，