[发明专利]基于多源数据融合的图像处理方法与系统

说明书

本发明提出基于多源数据融合的图像采集、处理系统、方法与计算机可读介质。图像处理系统包括第一图像输入通道组、第二图像选择组、第三图像处理组以及第四图像融合组。第一图像输入通道组获得多种不同来源的图像数据；第二图像选择组包括图像数据筛选引擎以及图像数据分组引擎；图像分组引擎得到多个分组图像数据；第三图像处理组包括第一神经网络模型和第二神经网络模型；所述第四图像融合组接收第一神经网络模型的第一输出结果和第二神经网络模型的第二输出结果，并将第一输出结果和第二输出结果进行融合计算。本发明可基于融合计算的结果调节多源图片数据的产生方式，从而在降低硬件使用成本的同时保证图像处理质量。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于多源数据融合的图像采集、处理系统、方法与计算机可读介质。

背景技术

对于电力、石油、化工和交通等重要行业，安全生产和设备的安全运行举足轻重，因而对设备和现场的监控至关重要。图像监控系统的现场监控设备主要包括摄像机及镜头、云台、控制器等设备，摄像机主要用于将光信号转变成为电信号(视频)，镜头则对光圈和焦距进行调整，以达到清晰的成像效果；云台负责对摄像机进行上下左右的移动；控制器从上级获取命令，完成对云台和镜头的控制，并可以提供现场其他设备和摄像的联动接口。

以交通监控为例，智能交通监控系统可通过监控系统将监视区域内的现场图像传回指挥中心，使管理人员直接掌握车辆排队、堵塞、信号灯等交通状况，及时调整信号配时或通过其他手段来疏导交通，改变交通流的分布，以达到缓解交通堵塞的目的。智能交通监控系统要能够提供图片监控、车辆查询、违章查询、智能研判、布控、流量统计分析；实时图片监控道路的车辆信息，同步图片叠加时间、抓拍地点、车牌号码、车牌颜色、车身颜色、设备名称、车速、限速、车道、红灯时间和抓拍序号等；支持卡口车辆信息实时刷新和停止刷新操作；支持多种车辆研判模式如首次、频繁、高危时段，支持车辆行为分析和查询模式如区间、碰撞、同行车、套牌车；实时监控交通路面情况，提供识别车辆号牌字符，识别车辆号牌颜色，识别车身颜色，检测车辆时速等卡口功能，同时也提供闯红灯，不按车道行驶，违章变道，逆行，压(实)线等功能；支持通过录入车牌号码、车主信息、车身颜色、车身长度、车辆类型、车牌颜色、布控机构和通缉单位、布控类型、布控联系人、布控时间等信息进行布控。

中国发明专利申请CN202110109738.1提出一种智能摄像头自训练置信度阈值选择方法、装置及设备。该方法包括:当前模型对测试样本集检测输出检测结果；然后结合取样步长对应的各置信度阈值，得到多个mAP值；筛选出符合要求的mAP值，从而确定目标置信度阈值。本发明还包括用于执行上述方法的装置和设备。该发明通过置信度阈值与mAP值的对应关系，筛选出符合要求的mAP值，从而确定出目标置信度阈值，使用该目标置信度阈值去筛选伪标签，可以减少漏标、错标等错误标签，提高微调训练后模型的检测准确性。

然而，发明人发现，为了获得监控的准确性以及全面性，现有技术中，针对同一个监控区域(监控位置)，通常需要配置超数量的监控设备(摄像头)，同时这些摄像头还需要具备超标准的高分辨率，并且在大部分时间段据需要同时不间断的开启，硬件成本较高，并且占用的资源也较多。如何在确保监控准确性和全面性的前提下，降低硬件成本并且减少资源占用，成为本领域亟待解决的技术问题。

发明内容

为解决上述技术问题，本发明提出一种基于多源数据融合的图像采集、处理系统、方法与计算机可读介质。图像处理系统包括第一图像输入通道组、第二图像选择组、第三图像处理组以及第四图像融合组。第一图像输入通道组获得多种不同来源的图像数据；第二图像选择组包括图像数据筛选引擎以及图像数据分组引擎；图像分组引擎得到多个分组图像数据；第三图像处理组包括第一神经网络模型和第二神经网络模型；所述第四图像融合组接收第一神经网络模型的第一输出结果和第二神经网络模型的第二输出结果，并将第一输出结果和第二输出结果进行融合计算。

本发明可基于融合计算的结果调节多源图片数据的产生方式，从而在降低硬件使用成本的同时保证图像处理质量，满足使用目的。