[发明专利]基于Swin Transformer和ZED摄像头的多目标检测和测距方法

权利要求书

1.基于Swin Transformer和ZED摄像头的多目标检测和测距方法，其特征在于，该方法包括以下步骤：

S1、采用预设的训练超参数对Swin Transformer目标检测器进行训练，得到SwinTransformer目标检测模型；

S2、利用Swin Transformer目标检测模型和ZED摄像头实现多目标的实时检测及测距。

2.根据权利要求1所述的基于Swin Transformer和ZED摄像头的多目标检测和测距方法，其特征在于，所述S1中采用预设的训练参数对Swin Transformer目标检测器进行训练，得到Swin Transformer目标检测模型包括以下步骤：

S11、制作数据集：下载COCO数据集，将数据集打乱，并按照预设比例抽取得到训练集、验证集及测试集；

S12、数据扩充：采用基础的图像扩充方式对训练数据进行扩充；

S13、设定训练超参数：设置Swin Transformer目标检测器的训练超参数；

S14、模型训练：根据训练超参数和制作好的数据集对Swin Transformer目标检测器进行训练，得到Swin Transformer目标检测模型。

3.根据权利要求2所述的基于Swin Transformer和ZED摄像头的多目标检测和测距方法，其特征在于，所述S12中对训练数据进行扩充包括：裁剪、随机旋转、水平翻转、颜色变换及针对目标裁剪策略的几种扩充方式；

所述S13中设置Swin Transformer目标检测器的训练超参数包括：训练每批图像数量、输入图像宽度、图像高度、图像通道数、冲量、初始学习率、权重衰减系数、学习率调整参数、最大迭代次数、优化器以及阈值。

4.根据权利要求1所述的基于Swin Transformer和ZED摄像头的多目标检测和测距方法，其特征在于，所述S2中利用Swin Transformer目标检测模型和ZED摄像头实现多目标的实时检测及测距包括以下步骤：

S21、初始化：对摄像头参数及Swin Transformer目标检测模型进行初始化处理；

S22、读取标志位判断是否退出程序：读取键盘状态并判断是否退出程序；

S23、读取图像：利用ZED双目摄像头读取左摄像头彩色图像，送入Swin Transformer目标检测模型，并判断是否成功读取图像，若是则执行S24，若否则返回S22；

S24、目标检测：利用Swin Transformer目标检测模型读取新的图像，预测得到图像中的目标的外接框、置信度以及类别置信度信息；

S25、目标测距：根据Swin Transformer目标检测模型预测结果和ZED摄像头深度图，计算每个目标的距离实现多目标测距；

S26、显示：在原图上画出目标检测到的多目标的外接框、目标类别以及置信度，并且标记计算得到的目标距离。

5.根据权利要求4所述的基于Swin Transformer和ZED摄像头的多目标检测和测距方法，其特征在于，所述S21中对摄像头参数及Swin Transformer目标检测模型进行初始化处理包括以下步骤：

S211、对摄像头参数进行初始化处理；

S212、为Swin Transformer目标检测模型新建一个新的子线程；

S213、对Swin Transformer目标检测模型进行初始化处理。

6.根据权利要求5所述的基于Swin Transformer和ZED摄像头的多目标检测和测距方法，其特征在于，所述S211中对摄像头参数进行初始化处理具体包括以下步骤：

设置摄像头采集模式为WVGA；

设置摄像头的帧率为100；

设置采集图片的大小为672x386。