[发明专利]一种基于视觉跟踪的AGV运动控制方法、装置及介质

说明书

本发明涉及AGV技术领域，具体涉及一种基于视觉跟踪的AGV运动控制方法、装置及介质，方法包括：在AGV进行目标跟踪过程中采集AGV周围的视频流；从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度；控制AGV以跟踪目标在下一时刻的运动速度控制行驶；本发明通过提前预判运行速度实现实时跟随，满足实际应用中的实时性需求。

技术领域

本发明涉及AGV技术领域，具体涉及一种基于视觉跟踪的AGV运动控制方法、装置及介质。

背景技术

基于ROS(Robot Operating System，机器人操作系统)，AGV能通过采集到的图像，简便高效地实现对目标距离和角度的估计，并保持一定的安全距离，在办公、巡检、迎宾、工业物流等场景有广泛的应用价值。

现有技术中，采用视觉定位跟踪时，由于受外界条件影响，存在目标定位追踪的精度不高，时延较大，跟随性不好等问题。

因此，为满足AGV在实际应用中的实时性需求，有必要对现有的AGV视觉跟踪方式进行改进，以提高其实时性。

发明内容

本发明目的在于提供一种基于视觉跟踪的AGV运动控制方法、装置及介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，本发明提供以下技术方案：

第一方面，本发明实施例提供了一种基于视觉跟踪的AGV运动控制方法，所述方法包括以下步骤：

在AGV进行目标跟踪过程中采集AGV周围的视频流；

从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度；

控制AGV以跟踪目标在下一时刻的运动速度控制行驶。

进一步，所述从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度，包括：

从所述视频流中提取得到最新采集的3帧连续的图像；

对每帧图像分别进行连通域识别，确定每帧图像中的多个连通域；

对于每帧图像，根据训练好的目标检测模型生成图像的预测框，确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点；其中，n为自然数；关键点包括角点、边缘点；

根据前两帧图像的采集时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标在当前时刻的运动速度；

根据跟踪目标的运动速度预测跟踪目标的在第三帧图像中对应的关键点所在的预测位置；

根据跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像中对应的关键点所在的位置确定跟踪目标的速度偏差，根据所述速度偏差调整所述跟踪目标在当前时刻的运动速度，得到跟踪目标在下一时刻的运动速度。

进一步，所述确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点，包括：

确定与所述图像的预测框匹配的连通域的最小外接框；

确定所述最小外接框与所述预测框的大小偏差是否在设定的大小阈值范围内；

确定大小偏差在设定的大小阈值范围内的最小外接框对应的连通域；

遍历所述连通域中的每个像素点，确定每个像素点的梯度值，将梯度值最大的n/2个像素点作为角点，将相邻角点之间梯度值最大的像素点作为边缘点，得到n/2个边缘点；