[发明专利]基于FPGA卷积神经网络的航拍图像实时去雾方法及无人机

说明书

本发明提供一种基于FPGA卷积神经网络的航拍图像实时去雾方法及无人机，包括步骤：通过FPGA部署卷积神经网络模型，在不同场景训练卷积神经网络模型，得到各场景下的去雾参数；选取去雾参数，将去雾参数例化在FPGA内部的RAM中；获取第i‑1帧图像与第i帧图像，求取第i‑1帧图像的暗通道图像并计算第i‑1帧图像的大气光值A_i‑1；对第i帧图像进行卷积神经网络运算，计算第i帧图像的粗糙透射率t'_i(x)；获取第i帧图像的灰度图像；将粗糙透射率t'_i(x)与灰度图像进行引导滤波，计算获取第i帧图像的精细透射率t_i(x)；将A_i‑1、t_i(x)与第i帧图像I_i(x)运算，获取第i帧图像的去雾图像J_i(x)。具有较好地普适性，同时能够满足实时性要求。本发明应用于图像处理领域与计算机视觉领域。

技术领域

本发明涉及图像处理领域与计算机视觉领域，尤其涉及一种基于FPGA卷积神经网络的航拍图像实时去雾方法及无人机。

背景技术

目前，无人机在测绘、巡查、灾害防治等领域的运用越来越广泛。无人机作业或者启用视觉导航飞行时，很大程度上依赖于成像质量较高的无人机图像。当无人机在中高空飞行时，在雾、霾等不良天气条件下，由于大气中气溶胶的散射作用，使得大气能见度降低，航拍图像的质量和清晰度严重受到影响，导致无人机图像出现退化和模糊的问题，图像颜色的自然程度和图像对比度大大降低，使图像中的基本信息特征失真、受损，进而影响无人机的视觉导航、目标实时追踪等后期任务。因此，对无人机获取的图像进行机载实时去雾处理有着重要的研究和应用价值。

目前，图像去雾算法主要分为三类：第一类是基于图像增强的方法；第二类，基于物理模型的图像复原方法；第三类，是基于深度学习的图像去雾方法。

基于图像增强的方法的现有研究有：“一种基于直方图均衡化的数字图像去雾方法，申请号：201510609664.2，发明设计人：张岱等”与“一种图像去雾处理方法，申请号：201410448950.0，发明设计人：张文利等”。第一类方法由于没有考虑图像降质的原因，不是目前研究的主流。

基于物理模型图像复原的图像去雾方法的研究有：“一种图像去雾方法及其在FPGA上的实现方法，申请号：201610410849.5，发明设计人：杨艺等”、“一种基于FPGA的实时水面浓雾场景图像增强方法，申请号：201711419415.2，发明设计人：张弘等”、“基于FPGA的视频去雾方法及系统，申请号：201510175410.4，发明设计人：欧阳平等”、“一种基于CUDA的低照度图像增强并行优化方法，申请号：201510245810.8，发明设计人：沈沛意等”、“一种基于CUDA的图像实时去雾方法，申请号：201310017014.X，发明设计人：兰时勇等”、“FPGA的高性能暗原色先验算法设计，计算机工程与应用，vol.51,No.9,2015，作者：蒋守欢等”、“改进的暗通道去雾算法在多核DSP上的并行实现，武汉大学学报(理学版)，Vol.62,No.6,2016，作者：匡娇娇等”

近年来，随着深度学习技术的发展，利用深度学习进行图像去雾也有相关研究出现。例如“一种基于深度学习的单幅图像去雾方法，申请号：201710613638.6，发明设计人：邹月娴等”与“一种基于深度学习的单幅图像去雾算法，申请号：201710113254.8，发明设计人：肖进胜等”。

对于无人机的视觉导航、灾难搜救、目标追踪等应用来说，不仅要求能实时提供清晰的去雾图像，而且作为机载图像处理的前端部分，要求图像去雾模块花费尽可能小的硬件成本、功耗成本、重量成本、体积成本，另外需去雾模块能够满足多个场景的去雾要求，如山区、海面、城区等。

在上述介绍的技术研究中，基于图像增强的去雾算法，没有考虑图像降质的原因，能提高雾天图像对比度，突出图像细节，然而对图像信息会造成一定损失，去雾效果一般。