[发明专利]一种螺栓缺陷数据集扩充方法

说明书

本发明提供了一种螺栓缺陷数据集扩充方法，所述扩充方法包括：将数据集中的缺陷螺栓目标裁剪出来并保存；随机选择裁剪得到的缺陷螺栓图像，并调整图像的尺寸；确定图像粘贴的中心位置；计算原始标注框与新标注框的交并比IoU，将裁剪得到的缺陷螺栓图像采用像素填充的方式粘贴到巡检图片中。第一，充分利用已有的螺栓缺陷图片数据，合成了新的数据，增加了训练图片数量，有利于网络模型充分训练，提高其泛化能力；第二，经过数据扩充后，巡检图片中包含有更多的缺陷螺栓目标，不仅增加了缺陷螺栓在图片中的占比，还增加了缺陷螺栓的数量，从而增加了缺陷螺栓目标在计算网络的回归和分类损失时的贡献。

技术领域

本发明涉及数据扩充技术领域，具体涉及一种螺栓缺陷数据集扩充方法。

背景技术

深度学习在计算机视觉领域中的图像分类、目标检测和图像分割等任务上展现出强大的性能，促进了许多研究领域的快速发展。作为深度学习的驱动力，数据对网络模型的训练至关重要。在相同的网络结构和先验知识的基础上，用更多的新数据去训练网络，能够取得更好的效果，提高模型的性能。但是在某些研究领域获取到充足的训练数据比较困难，数据量不足容易导致网络模型的过拟合问题，从而导致模型泛化能力差、测试效果不好等问题，无法应用在相关研究领域。通过对已有的数据进行相关变换处理能够生成新数据，数据扩充成为了一种常用的增加训练样本、提高网络模型泛化能力的重要方法。

数据扩充是一种在有限的已有数据基础上，增加样本数据的数量和多样性的方法，目的就是为了充分利用已有数据，从中提取出更多有利于网络模型训练的信息。对于计算机视觉任务中的图像数据，数据扩充可以分为两类，一种是数据变形，另一种是数据的过采样。基本的图像变换操作都属于数据变形类的扩充方法，而采用多幅图像进行信息混合以及随机删除图像中的局部信息等操作属于数据的过采样方法。

随着深度学习与目标检测算法被应用到输电线路的巡检中去，其在绝缘子、输电线以及均压环等大目标部件的识别和检测中，取得了较好的效果。但是，对于输电线路中的螺栓部件检测效果仍然很差，影响其检测效果的因素主要有两点：一是包含螺栓缺陷的图像数据量不足，目前没有公开标准的螺栓缺陷检测数据集，导致螺栓缺陷检测网络训练不充分，网络模型泛化能力差，检测效果差；二是螺栓目标尺寸过小，在整张图片中占比很小，属于小目标，而且整张巡检图片中包含的缺陷螺栓目标数量也较少，对于计算网络的回归和分类损失贡献较小，不利于网络的训练，导致缺陷螺栓的识别和检测效果差。

因此，本发明针对无人机输电线路巡检收集的包含螺栓缺陷目标的图片数据集，提出了一种螺栓缺陷数据集扩充方法。

现有的图像数据扩充方法有很多，主要有以下三类方法：

一是常规的图像数据增强处理，包括调整图片尺度、裁剪、翻转和旋转一定角度、调整图片亮度和对比度以及添加不同类型的噪声等操作。

二是多幅图像数据混合，常用的有Mixup和Moasic两种方法，其中Mixup方法是将缺陷图片与正常图片随机进行融合，Moasic方法是随机合成几张图片为一张图片。

三是通过生成对抗网络GAN进行图像数据过采样，通过训练GAN网络，学习数据分布，在数据分布中进行过采样生成新的图像数据。

上述方法针对通用数据集的数据扩充能够取得较好的效果，实际应用到螺栓缺陷数据集的扩充中，能够增加螺栓缺陷数据集中图片的数量，但是并未完全解决螺栓缺陷目标在巡检图片中占比过小且数量较少的问题。

发明内容

本发明的目的是提供一种螺栓缺陷数据集扩充方法。

为实现上述目的，本发明提供了如下方案：一种螺栓缺陷数据集扩充方法，所述扩充方法包括：

将数据集中的缺陷螺栓目标裁剪出来并保存；

随机选择裁剪得到的缺陷螺栓图像，并调整图像的尺寸；

确定图像粘贴的中心位置；