[发明专利]一种人机自主智能协同的跟踪方法

说明书

本发明构建了一种人机自主智能协同的跟踪方法，步骤为：1)基于马尔科夫链对工业现场人机协同场景建立链式模型；2)对人机协同行为和过程建立示教模型；3)通过机器学习人机协同行为，并基于目标完成情况建立奖惩函数和协同策略规则；4)对策略规则进行训练，寻找最优方案；5)依据评价指标对训练好的策略进行测试，如果表现满足要求则将策略函数输出，否则回到3)进行重新学习；6)利用子目标评价函数对策略函数进行分类，并根据目标函数的偏好选取合适的策略函数。本发明收敛速度快，目标协同精度高，对快速移动或者速度变化频繁的人机协同任务目标性能好等优点，并在流水线机器人跟随作业、台车跟随注油等领域具有广阔的应用前景。

技术领域

本发明属于自主智能协同控制和协作机器人目标自动跟随等技术领域，具体说是一种人机自主智能协同的跟踪方法，即根据机器人自身状态，结合视觉判断目标状态从而做出相应决策实现协同和跟踪的目标，并应用于流水线机器人跟随作业、台车跟随注油、无人车间人机协同作业、机器人巡航等领域。

背景技术

自主智能协同跟踪指面向工业环境的人机物协同时人和机器具备环境感知、行为控制、动态决策、自动执行等使用功能的智能化综合控制系统，基于机器学习的过程、行为运行准则与周边环境情况等自主完成复杂任务，并可以利用机器视觉信息来控制机器人的移动，使机器人末端执行器迅速达到期望的位姿。这不仅需要机器人控制系统具有较高的反应速度，同时也对控制动作的精确度有着较高的要求。而具有感知和智能反馈的运动控制与协调问题对自主智能协同技术的应用具有重要的影响，如何建立场景模型、行为模型，并能自主学习行为规则，优化协同效率是关键的内容。因此，对自主智能协同的跟踪问题的研究是当前一项重要课题。

然而，目前的机器人跟踪技术主要依赖于人为事先设定好跟踪轨迹和各种判定条件，机器只能死板地根据设定进行周期性运转。机器本身往往缺乏智能性，如果环境发生改变，如出现障碍物等，机器一般不会改变策略，从而可能造成不必要的损耗。同时，人机之间往往也缺乏交互，人无法对机器做出指导，机器也难以向人反馈详细的作业情况。此外，目前的跟踪技术对视觉精度要求较高，当视觉传感器被遮挡或光线不良的情况下，机器常常会出现误判等情况，影响正常作业效率。以上问题是目前人机自主智能协同跟踪技术中急需解决的问题。

发明内容

本发明结合机器人跟踪技术和人机协同方法，将两者合二为一，结合强化学习算法，提出了一种人机自主智能协同的跟踪方法，其目的在于实现人机系统在不同环境中可以自主化、智能化地作业，以更好地完成各类跟踪和协同的目标任务。

本发明为实现上述目的所采用的技术方案是：

一种人机自主智能协同的跟踪方法，包括以下步骤：

1)建立人机协同场景链式模型：根据马尔科夫链模型建立一个五元组；

2)根据目标要求，进行人工示教，得到多个策略，构成训练集，所述策略为智能体的某一状态对此状态下所有可能的动作的映射；

3)智能体获取策略，并对其进行离散采样，分别提取每个策略中各个动作的参数数值和频率，进而得到智能体不同状态下每个动作的近似概率分布；

4)通过近似概率分布以及状态回报得到对应动作的奖励值，进而得到奖励函数；

5)基于奖励函数训练最优策略；

6)对最优策略的性能进行测试：依据评价函数判断最优策略是否满足要求，即将评价函数与阈值比较，若不满足要求，则执行步骤7)，否则，执行步骤8)；

7)将最优策略加入训练集中，并修改估计参数，返回步骤4)重新估计奖励函数；

8)提取最优策略的偏好；