[发明专利]一种指针式仪表图像数据合成方法

权利要求书

1.一种指针式仪表图像数据合成方法，其特征在于，包括以下步骤：

1)对仪表图像上的表盘图像进行标注构建表盘定位数据集及准备待增强数据集，装载训练参数使用表盘定位数据集训练表盘检测网络，训练完毕后得到最优的表盘检测网络，将待增强仪表数据集输入最优的表盘检测网络，输出表盘图像并将表盘图像裁剪出来；其中，所述表盘检测网络采用YOLO网络，并将YOLO网络的骨干网络改进为mobilenet轻量化网络以减少网络参数和计算量，提高运算速度；

所述表盘检测网络的具体情况如下：

a、根据实时性和高精度要求构建特征提取网络，特征提取网络由多个组合卷积模块组成，具体如下：

第一层为组合卷积模块A，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；

第二层为组合卷积模块B，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第三层为组合卷积模块C，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第四层为组合卷积模块B，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第五层为组合卷积模块C，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第六层为组合卷积模块B，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第七层为组合卷积模块C，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第八层为组合卷积模块D，它由五个组合卷积模块B组成；

第九层为组合卷积模块C，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第十层为组合卷积模块B，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

b、根据特征提取网络不同层的输出构建输出预测不同尺寸目标的预测网络，有大尺寸目标预测网络、中等尺寸目标预测网络和小尺寸目标预测网络；

b1、大尺寸目标预测网络的输入为特征提取网络的第十层输出，大尺寸目标预测网络由多种组合卷积模块和卷积层组成，具体如下：

第一层为组合卷积模块D，它由五个组合卷积模块B组成；

第二层为组合卷积模块B，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第三层为一个卷积层；

b2、中等尺寸目标预测网络的输入为特征提取网络的第八层输出和大尺寸目标预测网络的第一层输出，中等尺寸目标预测网络由多种组合卷积模块和卷积层组成，具体如下：

第一层为输入融合模块A，它由一个组合卷积模块B、一个上采样层和一个张量拼接层组成；

第二层为组合卷积模块D，它由五个组合卷积模块B组成；

第三层为组合卷积模块B，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第四层为一个卷积层；

b3、小尺寸目标预测网络的输入为特征提取网络的第六层输出和中等尺寸目标预测网络的第二层输出，小尺寸目标预测网络由多种组合卷积模块和卷积层组成，具体如下：

第一层为输入融合模块A，它由一个组合卷积模块B、一个上采样层和一个张量拼接层组成；

第二层为组合卷积模块D，它由五个组合卷积模块B组成；

第三层为组合卷积模块B，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第四层为一个卷积层；

最后，将大尺寸目标预测网络、中等尺寸目标预测网络和小尺寸目标预测网络的输出通过非极大值抑制层得到预测目标位置和类别；

c、设置损失函数有中心坐标损失函数、宽高损失函数、置信度损失函数和类别损失函数；

中心坐标损失函数公式如下：

Loss_xy＝mark_object*(2-w*h)*Loss_log(xy_true,xy_predict)

式中，Loss_xy代表中心坐标损失，mark_object代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，Loss_log代表二值交叉熵损失，xy_true代表真实中心坐标值，xy_predict代表预测中心坐标值；

宽高损失函数公式如下：

Loss_wh＝0.5*mark_object*(2-w*h)*(wh_true-wh_predict)²

式中，Loss_wh代表宽高损失，wh_true代表真实宽高值，wh_predict代表预测宽高值；

置信度损失函数公式如下：

Loss_confidence＝mark_object*Loss_log(mark_object,c_predict)+(1-mark_object)*Loss_log(mark_object,c_predict)*mark_ignore

式中，Loss_confidence代表置信度损失，c_predict代表预测框的置信度值，mark_ignore代表IOU小于阈值的锚点框的标志位；

类别损失函数公式如下：

Loss_cls＝mark_object*Loss_log(cls_true,cls_predict)

式中，Loss_cls代表类别损失，cls_true代表真实类别，cls_predict代表预测类别；

总损失函数公式如下：

Loss＝(Loss_xy+Loss_wh+Loss_confidence+Loss_cls)/numf

式中，Loss代表总损失，numf代表输入总数的浮点数；

装载训练参数训练所设计的表盘检测网络，训练参数的设置如下：设置训练优化器为Adam、初始学习率为0.001、最大训练周期为500以及批次大小为8；并设置验证集间隔检测训练精确度，训练完成标志为达到最大训练周期或均交并比满足要求，训练完成后保存网络；

2)将步骤1)标注的表盘图像裁剪出来，对表盘图像上的量程量纲进行标注，标注内容为量程量纲的位置和文字信息，构建量程量纲数据集，装载训练参数使用量程量纲数据集训练字符识别网络，训练完毕后得到最优的字符识别网络，将步骤1)输出的表盘图像输入字符识别网络，输出表盘图像上的量程量纲的文字信息；其中，所述字符识别网络采用YOLO网络，并将YOLO网络的骨干网络改进为mobilenet轻量化网络以减少网络参数和计算量，提高运算速度；

3)在网上下载不同风格字符数据集，分别用不同风格字符数据集装载训练参数训练字符生成GAN网络，训练完毕后得到多个相应的字符生成GAN网络，将步骤2)输出的量程量纲的文字信息输入任意一个训练完的字符生成GAN网络，生成新的字符风格的量程量纲图像，并替代步骤1)输出的表盘图像上的原量程量纲图像，输出量程量纲增强表盘图像；

所述字符生成GAN网络由生成式网络和判别式网络组成，其具体情况如下：

a、根据生成字符图像的需求构建生成式网络，生成式网络由多个组合卷积模块组合，具体如下：

第一层为全连接层；

第二层为重构层；

第三层为组合卷积模块A，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；

第四层为上采样层；

第五层为组合卷积模块A，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；

第六层为上采样层；

第七层为组合卷积模块A，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；

第八层为组合卷积模块A，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；

b、根据判别字符图像的有效性构建判别式网络，输入为生成式网络输出图像，判别式网络由多个组合卷积模块组合，具体如下：

第一层为组合卷积模块E，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个Dropout层组成；

第二层为组合卷积模块E，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个Dropout层组成；

第三层为零填充层；

第四层为组合卷积模块E，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个Dropout层组成；

第五层为组合卷积模块E，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个Dropout层组成；

第六层为全局池化层；

第七层为全连接层；

c、设置损失函数为多分类交叉熵，公式如下：

式中，Loss代表损失，n代表类别数，y_i代表对应i类别的真实概率，代表对应i类别的预测概率；

4)将步骤1)标注的表盘图像裁剪出来，对表盘上的指针和刻度进行掩模的标注，构建指针刻度数据集，装载参数使用指针刻度数据集训练Mask R-CNN网络，训练完毕后得到最优的Mask R-CNN网络，将步骤3)输出的量程量纲增强表盘图像输入最优的Mask R-CNN网络，输出指针和刻度的掩模，根据刻度掩模获得刻度图像，对刻度图像进行形态学变换生成新的刻度图像并替换原刻度图像，根据指针掩模获得指针图像，对指针图像进行形态学变换再进行旋转后生成新的指针图像替换原指针图像，输出指针刻度增强表盘图像；将指针刻度增强表盘图像嵌入原仪表图像表盘位置，完成指针式仪表图像数据合成；

所述Mask R-CNN网络为深层Mask R-CNN网络，由基网络、区域建议网络、区域特征聚集模块、分类分支、坐标回归分支以及Mask分支组成，其具体情况如下：

a、输入图像先通过基网络提取特征，获得不同尺度的特征图；

b、区域建议网络进行区域建议，其在特征图上每个点生成不同尺度的候选框，并通过区域建议网络进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量候选框，将剩余候选框送入后续网络中；

c、将不同大小和尺度的候选框所在的特征图区域通过区域特征聚集模块输出得到固定尺寸的特征图；其中，区域特征聚集模块先将候选框分割成固定个数的单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；

d、将固定大小的特征图作为分类分支、坐标回归分支和Mask分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测候选框与真实目标区域的坐标、宽高偏差值，Mask分支输出以0、1值表述的目标的二值化掩膜图像；

深层Mask R-CNN网络的深层体现在基网络与Mask分支均采用深层的卷积神经网络，采用ResNet-50作为基网络和Mask分支的主网络结构。