[发明专利]基于Swin Transformer和ZED摄像头的多目标检测和测距方法

说明书

本发明公开了基于Swin Transformer和ZED摄像头的多目标检测和测距方法，该方法包括以下步骤：S1、采用预设的训练超参数对SwinTransformer目标检测器进行训练，得到Swin Transformer目标检测模型；S2、利用Swin Transformer目标检测模型和ZED摄像头实现多目标的实时检测及测距。有益效果：本发明融合Swin Transformer目标检测和ZED双目测距，有效地解决了终端设备实时实现多目标检测和多目标测距的难点，相比于传统的检测和测距方法，该方法能对目标进行快速、智能化检测与提取，并计算目标距离，适用于小车避障、无人机跟踪等工业场景。

技术领域

本发明涉及视频图像处理以及目标检测技术领域，具体来说，涉及基于SwinTransformer和ZED摄像头的多目标检测和测距方法。

背景技术

现代机器人的性能得到了不断地发展和提高，现在机器人已经广泛应用于工业生产、军事、生活服务、未知环境探索和支援救灾等各种领域。机器人能够对其所处的环境进行充分的认识，不仅仅具有感觉功能而且还具有自适应能力，能够结合自身判断和给定的指令确定合适的动作行为，其本质类似于一个不断完善的知识信息系统。智能机器人具有与外界环境相协调的能力，而其视觉系统正是这一能力所需要的关键部分。

双目是类人型机器人的必备装置，其对于机器人获取外部世界信息具有至关重要的作用。基于双目机器人的动态目标检测与跟踪系统，可以通过双目实时的定位外界目标，进而可以利用机器人运动控制算法对动态目标进行追踪。上述过程的关键正在于动态目标的精确定位，而基于视觉的动态目标检测与测距技术又是目标定位的关键所在，所以研究动态目标检测与测距技术尤为重要。

发明内容

针对相关技术中的问题，本发明提出基于Swin Transformer和ZED摄像头的多目标检测和测距方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于Swin Transformer和ZED摄像头的多目标检测和测距方法，该方法包括以下步骤：

S1、采用预设的训练超参数对Swin Transformer目标检测器进行训练，得到SwinTransformer目标检测模型；

S2、利用Swin Transformer目标检测模型和ZED摄像头实现多目标的实时检测及测距。

进一步的，所述S1中采用预设的训练参数对Swin Transformer目标检测器进行训练，得到Swin Transformer目标检测模型包括以下步骤：

S11、制作数据集：下载COCO数据集，将数据集打乱，并按照7：2：1比例抽取得到训练集、验证集及测试集；

S12、数据扩充：采用基础的图像扩充方式对训练数据进行扩充；

S13、设定训练超参数：设置Swin Transformer目标检测器的训练超参数；

S14、模型训练：根据训练超参数和制作好的数据集对Swin Transformer目标检测器进行训练，得到Swin Transformer目标检测模型。

进一步的，所述S12中对训练数据进行扩充包括：裁剪、随机旋转、水平翻转、颜色变换及针对目标裁剪策略的几种扩充方式；

所述S13中设置Swin Transformer目标检测器的训练超参数包括：训练每批图像数量、输入图像宽度、图像高度、图像通道数、冲量、初始学习率、权重衰减系数、学习率调整参数、最大迭代次数、优化器以及阈值。

进一步的，所述S2中利用Swin Transformer目标检测模型和ZED摄像头实现多目标的实时检测及测距包括以下步骤：