[发明专利]一种基于多模态数据的输电巡检图像生成方法及装置

权利要求书

1.一种基于多模态数据的输电巡检图像生成方法，其特征在于，包括：

基于原始图像输入第一网络模型进行目标检测，获取原始图像中至少一个目标输电部件的文本描述数据，所述文本描述数据包括目标输电部件在原始图像中的坐标位置信息和第一文本信息，所述第一文本信息表征原始图像中目标输电部件的关联属性信息；

基于第一文本信息在历史图像采集数据库中获取少量匹配的参考图像；

基于目标输电部件在原始图像中的坐标位置信息，确定新生成图像中目标输电部件的目标生成区域；

基于原始图像、少量所述参考图像和文本描述数据输入图像生成网络，在新生成图像的所述目标生成区域生成所述目标输电部件图像。

2.根据权利要求1所述的一种基于多模态数据的输电巡检图像生成方法，其特征在于，所述基于原始图像、少量所述参考图像和文本描述数据输入图像生成网络，在新生成图像的所述目标生成区域生成所述目标输电部件图像，包括：

基于原始图像和少量参考图像获取全局图像的像素特征和目标坐标区域的局部像素特征；

基于第一文本信息生成对应的文本特征；

基于文本特征和像素特征进行融合输入到生成器模型生成模拟图像；

基于模拟图像输入到判别器模型进行真实性判别；

在判别器模型判定模拟图像为真实图像后，将所述模拟图像作为新生成图像输出。

3.根据权利要求2所述的一种基于多模态数据的输电巡检图像生成方法，其特征在于，所述基于文本特征和像素特征进行融合，包括：

基于文本特征和图像特征的相似性衡量所述文本特征和图像特征的匹配性；

基于匹配性大小为文本特征分配权重，在文本特征和图像特征匹配性高时，为文本特征分配高权重，在文本特征和图像特征匹配性低时，为文本特征分配低权重；

基于文本特征、文本特征权重和图像特征提取高层次图像特征。

4.根据权利要求3所述的一种基于多模态数据的输电巡检图像生成方法，其特征在于，所述基于文本特征、文本特征权重和图像特征进行提取高层次图像特征，还包括：

(41)对于上一步获取的图像特征进行分析，更新当前时刻文本特征的权重；

(42)基于文本特征、更新后的文本特征权重对上一步获取的图像特征进行更新；

(43)重复步骤(41)-(42)进行文本特征权重的更新和图像特征的更新。

5.根据权利要求2所述的一种基于多模态数据的输电巡检图像生成方法，其特征在于，所述基于原始图像和少量参考图像获取全局图像的像素特征和目标坐标区域的局部像素特征，包括：

将原始图像和少量参考图像分别输入到第一图像处理模块和第二图像处理模块；

基于第一图像处理模块对原始图像和少量参考图像提取全局图像的像素特征；

基于第一网络模型输出的目标输电部件在原始图像中的坐标位置信息，通过第二图像处理模块对原始图像中的目标输电部件所在位置的局部区域进行图像特征提取，获取局部像素特征；

基于全局图像特征和局部像素特征进行融合，获取像素特征。

6.根据权利要求5所述的一种基于多模态数据的输电巡检图像生成方法，其特征在于，所述基于全局图像特征和局部像素特征进行融合，包括：

基于预设注意力模型提取所述局部像素特征图的注意力图像特征；

基于注意力图像特征和所述局部像素特征图相乘得到目标输电部件特征图；

基于局部像素特征图的注意力图像特征和所述全局像素特征图相乘，得到第一中间图像；

基于第一中间图像与所述全局像素特征图相加，得到融合后的全局图像特征。

7.根据权利要求2所述的一种基于多模态数据的输电巡检图像生成方法，其特征在于，所述图像生成网络的判别器模型在进行图像真实性判别时，包括：

对生成器模型生成的模拟图像进行编码，所述编码包括：基于编码数据的均值和方差特征将编码数据分布转化为正态分布数据；

基于编码数据、所述坐标位置信息和第一文本信息和原始图像进行对比分析，获得模拟图像真实性判断结果。