[发明专利]一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法

权利要求书

1.采用闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，其特征在于：所述闸门门叶表面锈蚀的图像检测系统包括用于对闸门的锈蚀情况进行前端图像采集的图像采集平台，所述图像采集平台包括由多个相机构成的相机阵列平台、光源、通信线缆、固定支架装置、拍摄控制平台以及计算机；

图像采集平台通过无线或者有线通讯方式与后端的图像数据处理平台相连，所述图像数据处理平台采用计算机，闸门门叶表面锈蚀图像经过PC机中图像处理工作站的处理、检测，最后在人机界面输出显示检测结果；

在图像采集平台上，所述相机阵列平台通过通信电缆与拍摄控制平台相连，所述相机阵列平台的相机阵列安装于固定支架装置上，并能通过固定支架装置调整整个相机阵列的拍摄角度；

所述相机阵列平台用于快速采集闸门门叶表面锈蚀图像数据，包括多个成像相机和定位相机；所述成像相机用于拍摄闸门门叶表面锈蚀的高清图像，所述定位相机用来定位闸门门叶边缘使之包含于成像相机的视野范围内；

所述拍摄控制平台用于调整相机阵列的拍摄参数，包括拍摄角度、图像增益和曝光度，以PC机端信号控制相机阵列平台对锈蚀样本进行图像采集；

所述相机阵列在布局上为了最大限度地利用相机分辨率，压缩相机视场的重叠区域，由N个型号和分辨率完全相同的CMOS相机按照凸面方式布局，镜头呈发散状，最终组装成1*N的一维相机阵列，由固定支架装置保持稳定，从左往右子相机分别标号为1、2…N；并通过调整固定支架装置以改变相机阵列拍摄角度，得到信息更全面的大视场图像；

利用各个子相机采集不同位置和视角的图像，实现锈蚀图像的多通道同步快速获取；

所述闸门门叶锈蚀面积快速测算的方法：将图像检测系统中所采集到的图像数据进行检测，根据视觉图像处理技术对锈蚀图像进行处理提高图像质量，将多视点图像融合拼接成包含完整表面的大视场闸门门叶表面锈蚀图像，采用深度学习算法对不规则锈蚀图像区域进行分割，统计不规则锈蚀图像区域像素，通过面积已知的标定物像素数量与真实面积的比例计算出不规则锈蚀区域的面积，实现闸门门叶表面不规则锈蚀面积的准确量化测评；

具体的步骤如下：

步骤1：设置调节阵列相机的相对位置

通过移动相机阵列以改变相机阵列与闸门门叶间的相对位置，使得成像清晰；

由于镜头焦距的长短决定着成像大小、视场角度指标，从价格和实用性角度考虑选用相应焦距的镜头，依据光学系统成像原理，计算出单个相机的视场距离，其计算公式如下：

式中：v′为像距，表示物体通过平面镜成的像到镜头中凸透镜之间的距离；v是物距，表示实际拍摄的物体到镜头中凸透镜之间的距离；f′是镜头焦距；η′为像方视场；η为物方视场；

步骤2：相机标定

根据相机成像原理，定义成像过程中各坐标系，推导坐标系间相互转换关系，建立相机阵列视觉理论数学模型，将相机阵列看作相邻相机两两组合的多个双目相机进行标定，利用张正友相机标定法对多相机装置进行标定；

在相机标定过程中，主要涉及到4个坐标系之间的转变，其中包含像素坐标系与图像坐标系的转换、图像坐标系与摄像机坐标系的转换以及摄像机坐标系与世界坐标系的转换，从而实现像素坐标系与世界坐标系的转换，其具体步骤为：

步骤2-1：选择经典的黑白棋盘格标定板；

步骤2-2：调整视场范围并固定相机，改变标定板位姿，控制左右相机同时对标定板图像进行拍摄，相机采集10组标定板图像，分别存放在指定文件夹；

步骤2-3：利用Matlab标定工具箱-Stero Camera Calibrate求解相机标定参数，并对参数进行优化求精；

通过建立相机成像的几何模型，确定空间物体表面各个点元的三维几何位置与其在图像中对应点元之间的相互关系；

步骤3：利用相机阵列平台采集图像

必须保持标定的相机阵列相对位置固定，以PC机端图像采集系统软件控制相机阵列同步采集闸门门叶锈蚀图像，通过调整固定支架装置的位置使得定位相机与闸门门叶之间保持合理的拍摄角度，在上位机的图像采集系统中对图像设置调节相同的增益效果和曝光参数，在同一时间同步拍摄，并通过以太网线将图像传输到PC机中进行存储；将采集完成后的图像统一按照闸门门叶编号-拍摄时间-相机编号的命名方式保存到PC机中；

步骤4：畸变校正

通过步骤2中相机标定得到的畸变参数对图像进行校正，包括径向畸变校正和切向畸变校正，畸变校正后的点(x₁,y₁)与校正前点(x₀,y₀)的数学公式如下：

式中：k₁,k₂,k₃为径向畸变参数，p₁,p₂为切向畸变系数，r为点(x₀,y₀)与成像中心的距离；

步骤5：图像拼接

步骤2建立了相机的成型模型，结合标定结果，求得相机间的图像坐标系的变换矩阵，选择4个定位相机为参考图像坐标系，将N个成像相机的图像转换到参考图像坐标系中，通过图像拼接算法拼接得到一幅包含闸门门叶表面完整的大视场图像；

步骤6：深度学习进行图像分割

采用深度学习网络训练好锈蚀分割模型，通过模型对预处理之后的图像进行锈蚀分割，并手动分割出规则的标定物对象；最后从图像中提取出锈蚀区域和用于参考的规整对象区域，将其转换为二值图像，在得到的二值图像中，能够得到三个不同类型的区域：背景区域、锈蚀区域以及标定物区域，同时这三个区域相互独立，互不干扰；

步骤7：统计像素点数量

二值图像中由于图片仅包含0和255两种类型的值，而锈蚀区域为封闭的不规则形状，标定物区域为封闭的规则区域，通过matlab中bwboundaries函数分别提取出各个封闭域，以此统计不同区域中像素点的数量即可得到锈蚀像素个数和标定物像素个数；

步骤8：测算不规则锈蚀区域面积

由于规则标定物对象，整体闸门门叶的实际面积是能够根据闸门的实际尺寸参数轻易计算得到的，再通过其真实面积与像素数量的比例计算出锈蚀区域的面积，其计算公式如下：