[发明专利]一种基于图像数据增强的芯片计数方法

权利要求书

1.一种基于图像数据增强的芯片计数方法，其特征在于：包括以下步骤：

S1：现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片；

S2：生成芯片样本数据集和托盘背景样本数据集；

S3：生成数据增强图片并获取芯片的四个角点，对角点进行反向标注，生成JSON标注文件；

S4：现场相机拍摄若干装载芯片的托盘实际图片，对芯片的四个角点使用Labelme软件进行角点标注；

S5：汇总实拍图片数据集和数据增强图片的数据集，处理对应JSON标注文件，生成水平方向最小外接矩形信息并将其添加到JSON标注文件中；

S6：使用Centernet关键点检测算法，训练芯片关键点检测模型；

S7：检测实际图片，过滤不符合要求的芯片并对剩余芯片进行计数，得到最终的芯片数量；

芯片关键点检测模型建立后，使用该模型对实际图片进行检测，输出每个芯片的四个角点位置和分数，分别设置四个角点的阈值分数，将检测分数与阈值分数进行比较：当芯片的一个角点检测分数小于阈值分数时，将对应芯片整体四个角点的检测信息都进行过滤，过滤掉检测分数低于阈值分数的芯片，对过滤后的芯片进行计数，得到最终的芯片数量；

所述生成数据增强图片并获取芯片的四个角点，具体为：使用现场相机拍摄多类需要计数的芯片图片，抠取图片中的所有类别芯片小图，对其进行旋转校正，去除校正后的图片背景信息，得到芯片小图的四个边角，即为芯片的四个角点；

所述对角点进行反向标注，生成JSON标注文件，具体为：得到旋转校正后的透明芯片图片数据集，设置随机数据增强规则，在拍摄的托盘背景图片上生成数据增强图片，提取数据增强图片中各个芯片的角点，生成和图片一一对应的JSON标注文件；

所述随机数据增强规则设置为：

首先，从托盘背景图片数据集中随机选择一张图片作为数据增强图片的背景图片，并从芯片样本数据集中随机选择5～10种芯片图片作为数据增强图片的前景目标，即芯片数据；

其次，设置每种芯片在背景图片上的粘贴次数，根据现场相机安装属性统计芯片的像素分布，依据实际像素分布情况设置缩放像素参数，设置每个芯片的旋转角度参数；

然后，依据芯片的尺寸和背景图片的尺寸在背景图片上随机设置芯片粘贴的位置参数，位置参数设置方式如下：采集到芯片的宽为clip_width，高为clip_height，背景图片的宽为image_width，高为image_height，芯片中心点的位置坐标为(X，Y)，将芯片中心点的横坐标X随机设置在[clip_width，

image_width-clip_width]之间，纵坐标Y随机设置在[clip_height，

image_height-clip_height]之间；

最后，设置芯片IOU交并比的阈值参数，根据下列公式计算随机一个待粘贴的芯片和已粘贴的芯片的IOU值；

其中，A表示待粘贴芯片覆盖的范围，B表示已粘贴芯片覆盖的范围，将待粘贴的芯片与所有已粘贴芯片的IOU值与阈值参数作比较：若IOU值小于等于阈值参数，说明对应待粘贴芯片正适合粘贴在背景图片的对应位置上；若IOU值大于阈值参数，说明对应待粘贴芯片不适合粘贴在背景图片的对应位置上，跳出，尝试粘贴到其他随机位置。