[发明专利]一种移动端基于目标检测的多码识别实现方法

权利要求书

1.一种移动端基于目标检测的多码识别实现方法，其特征在于，其步骤为：

(1)准备工作：使用目标检测框架和大量条形码、二维码的图片集，训练出可以识别条形码和二维码区域的模型；

(2)使用目标检测框架加载之前训练好的可以识别条形码和二维码区域的目标检测模型；

(3)调用手机摄像头，获取实时视频流数据，从视频流数据中获取每一帧的图像数据并转换为图片类型；

(4)使用目标检测框架对输入的图像进行条形码和二维码检测，获取图像上条形码和二维码所在的区域和对应区域的条码类型和预测值；

(5)对目标检测结果进行处理，根据每个区域的概率预测值，过滤掉概率预测值低的区域，如果没有符合条件的检测结果，结束本次图像检测，处理下一个输入的图像；

(6)针对每一个检测出条形码和二维码的区域，各自创建一个子线程进行处理；

(7)在对应子线程中，根据检测结果在图像上裁剪出条形码和二维码所在区域生成新的图像，并对新图像进行灰度和增强对比度处理；

(8)对处理后的新图像，根据目标检测结果的条码类型，使用不同的扫描器解析出条形码或二维码的内容；

(9)汇总所有子线程条码的解码结果，并在扫码页面上显示解码出内容的条形码和二维码对应的区域，检查是否有解码成功的条码；

(10)如果没有解析出条形码或二维码的内容，根据目标检测结果动态调整手机输入相机设备的对焦模式及焦点，结束本次图像检测，处理下一个输入的图像；如果有解码成功的条码，则显示解码成功的条码区域。

2.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(1)搭建Python开发环境，下载Yolov5目标检测代码并安装依赖包，加载已经标记好条形码二维码区域的图片集，调用Yolov5训练出可以识别条形码和二维码区域的模型。

3.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(2)使用ncnn框架加载之前训练好的可以识别条形码和二维码区域的检测模型文件和参数文件，并初始化检测器。

4.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(3)初始化AVCaptureSession并设置采集质量，分别添加后置相机创建的AVCaptureDeviceInput和AVCaptureVideoDataOutput到当前session作为输入输出流，并设置输出视频帧流代理，在获取到视频帧后，使用CoreGraphics将输出的CMSampleBufferRef转换为UIImage类型。

5.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(5)对检测结果进行处理，根据每个区域的概率预测值，过滤掉概率预测值低于0.6的区域。

6.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(6)使用GCD多线程框架创建一个dispatch_group线程组，对每一个检测出条形码和二维码的区域，各自创建一个子线程进行处理，并将子线程加入线程组中并发执行。

7.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(7)在对应子线程中，使用CGBitmapContextCreate创建上下文并设置颜色空间为灰度颜色空间，根据检测结果绘制出条形码和二维码所在区域，使用CIFilter调整图像对比度inputContrast的值为2.5，然后使用CGBitmapContextCreateImage方法生成新的图像。

8.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(8)使用AVFoundation的CIDetector解析二维码内容，使用Zbar解析条形码内容。

9.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法，其特征在于，所述的步骤(10)如果没有解析出条形码或二维码的内容，根据目标检测结果，修改输入设备的focusPointOfInterest焦点至概率预测值最高区域的中心位置，并设置对焦模式为自动对焦，提升后续输入条形码和二维码的图像清晰度。