[发明专利]基于FPGA卷积神经网络的航拍图像实时去雾方法及无人机

权利要求书

1.基于FPGA卷积神经网络的航拍图像实时去雾方法，其特征在于，具体包括以下步骤：

S1、通过FPGA部署卷积神经网络模型，利用不同场景下大量的雾、霾图像，线下训练卷积神经网络模型，得到各个场景下航拍图像的去雾参数；卷积神经网络模型的训练场景包括山区、海面、城区场景下大量具有不同浓度雾、霾的图像，具体为：

获取山区、海面与城区的图像各3.5万张，其中，海面的图像中包含有湖面图像，且每一类图像中有雾、霾图像3万张，无雾、霾图像0.5万张，再以每一张图片为原型，添加10个浓度等级的雾、霾，即加上原型图片，每一张图片具有11个等级，每添加一个等级的雾、霾，生成一张新的图片，将这些图片按场景和雾、霾等级进行分类，即山区、浓度1级3.5万张，山区、浓度2级3.5万张，...，城区、浓度10级3.5万张，城区、浓度11级3.5万张；在每一类图片中随机抽取3万张作为训练集数据，0.5万张作为测试集数据，输入卷积神经网络进行训练；

S2、根据本次航拍场景选取对应的去雾参数，将去雾参数例化在FPGA内部的RAM中；

S3、获取第i-1帧图像与第i帧图像，求取第i-1帧图像的暗通道图像并计算第i-1帧图像的大气光值A_i-1；

S4、对第i帧图像进行卷积神经网络运算，计算第i帧图像的粗糙透射率t'_i(x)，具体包括：

S41、获取第i帧图像，求取第i帧图像中每个像素点的灰度特征；

S42、通过卷积神经网络中的卷积层对每个像素点的灰度特征进行多层卷积运算，获取每个像素点的灰度特征的卷积矩阵，具体包括：

S421、选取16个卷积核作为卷积神经网络中的卷积层，对16个卷积核进行编号；

S422、利用4个FPGA内部RAM存储16个卷积核的参数，第1个RAM顺序存放第1、5、9、13个卷积核的参数，第2个RAM顺序存放第2、6、10、14个卷积核的参数，第3个RAM顺序存放第3、7、11、15个卷积核的参数，第4个RAM顺序存放第4、8、12、16个卷积核的参数；

S423、将16个卷积核进行4批运算，每批运算四个卷积核，即第一批运算第1、2、3、4个卷积核，第2批运算第5、6、7、8个卷积核，第3批运算第9、10、11、12个卷积核，第4批运算第13、14、15、16个卷积核，最终获取每个像素点的灰度特征的卷积矩阵，其中，每个像素点的灰度特征均具有16个卷积矩阵；

S43、利用极值滤波对步骤S434获取的每个卷积矩阵进行池化运算，对池化运算的结果进行非线性回归运算，即得粗糙透射率t'_i(x)；

S5、对第i帧图像进行灰度化，获取第i帧图像的灰度图像；

S6、将步骤S4中求取的粗糙透射率t'_i(x)与步骤S5中获取的灰度图像进行引导滤波，计算获取第i帧图像的精细透射率t_i(x)；

S7、将步骤S3中获取的A_i-1、步骤S6中获取的t_i(x)与延时获取的第i帧图像I_i(x)运算，获取第i帧图像的去雾图像J_i(x)：

式中，i＝2,3,4…；

其中步骤S3、S4、S5与步骤S7中延时获取第i帧图像I_i(x)多路并行处理；

步骤S4中，卷积神经网络运算采用数据并行与乘法器并行相结合以用于实现运算速度与运算资源的平衡；

步骤S4中，卷积神经网络的运算模式包括核间并行运算、核内并行运算以及数据并行流通，其中：

核间并行运算，卷积神经网络卷积层中多个卷积核进行分组并行运算，对输入卷积神经网络卷积层的数据串行分流，一次进行一路数据与卷积核的乘累加运算，再将多路乘累加结果求和，完成多路信号的卷积；

核内并行运算，卷积神经网络卷积层中单个卷积核的运算，核内所有参数与对应数据同时进行并行乘法运算，再将所有乘法运算结果求和；

数据并行流通，卷积神经网路模型中，卷积层的计算结果直接流入与其衔接的下一个池化层，池化层的计算结果进行串行编排后流入与其衔接的下一个卷积层。