[发明专利]基于FPGA卷积神经网络的航拍图像实时去雾方法及无人机

摘要

本发明提供一种基于FPGA卷积神经网络的航拍图像实时去雾方法及无人机，包括步骤：通过FPGA部署卷积神经网络模型，在不同场景训练卷积神经网络模型，得到各场景下的去雾参数；选取去雾参数，将去雾参数例化在FPGA内部的RAM中；获取第i‑1帧图像与第i帧图像，求取第i‑1帧图像的暗通道图像并计算第i‑1帧图像的大气光值Ai‑1；对第i帧图像进行卷积神经网络运算，计算第i帧图像的粗糙透射率t'i(x)；获取第i帧图像的灰度图像；将粗糙透射率t'i(x)与灰度图像进行引导滤波，计算获取第i帧图像的精细透射率ti(x)；将Ai‑1、ti(x)与第i帧图像Ii(x)运算，获取第i帧图像的去雾图像Ji(x)。具有较好地普适性，同时能够满足实时性要求。本发明应用于图像处理领域与计算机视觉领域。

主权项

1.基于FPGA卷积神经网络的航拍图像实时去雾方法，其特征在于，具体包括以下步骤：S1、通过FPGA部署卷积神经网络模型，利用不同场景下大量的雾、霾图像，线下训练卷积神经网络模型，得到各个场景下航拍图像的去雾参数；S2、根据本次航拍场景选取对应的去雾参数，将去雾参数例化在FPGA内部的RAM中；S3、获取第i‑1帧图像与第i帧图像，求取第i‑1帧图像的暗通道图像并计算第i‑1帧图像的大气光值Ai‑1；S4、对第i帧图像进行卷积神经网络运算，计算第i帧图像的粗糙透射率t'i(x)，具体包括：S41、获取第i帧图像，求取第i帧图像中每个像素点的灰度特征；S42、通过卷积神经网络中的卷积层对每个像素点的灰度特征进行多层卷积运算，获取每个像素点的灰度特征的卷积矩阵，具体包括：S421、选取16个卷积核作为卷积神经网络中的卷积层，对16个卷积核进行编号；S422、利用4个FPGA内部RAM存储16个卷积核的参数，第1个RAM顺序存放第1、5、9、13个卷积核的参数，第2个RAM顺序存放第2、6、10、14个卷积核的参数，第3个RAM顺序存放第3、7、11、15个卷积核的参数，第4个RAM顺序存放第4、8、12、16个卷积核的参数；S423、将16个卷积核进行4批运算，每批运算四个卷积核，即第一批运算第1、2、3、4个卷积核，第2批运算第5、6、7、8个卷积核，第3批运算第9、10、11、12个卷积核，第4批运算第13、14、15、16个卷积核，最终获取每个像素点的灰度特征的卷积矩阵，其中，每个像素点的灰度特征均具有16个卷积矩阵；S43、利用极值滤波对步骤S434获取的每个卷积矩阵进行池化运算，对池化运算的结果进行非线性回归运算，即得粗糙透射率t'i(x)；S5、对第i帧图像进行灰度化，获取第i帧图像的灰度图像；S6、将步骤S4中求取的粗糙透射率t'i(x)与步骤S5中获取的灰度图像进行引导滤波，计算获取第i帧图像的精细透射率ti(x)；S7、将步骤S3中获取的Ai‑1、步骤S6中获取的ti(x)与延时获取的第i帧图像Ii(x)运算，获取第i帧图像的去雾图像Ji(x)：式中，i＝2,3,4···；其中步骤S3、S4、S5与步骤S7中延时获取第i帧图像Ii(x)多路并行处理。