[发明专利]一种基于多模态数据的输电巡检图像生成方法及装置

说明书

本发明公开了一种基于多模态数据的输电巡检图像生成方法及装置，该方法包括：基于原始图像输入第一网络模型进行目标检测，获取原始图像中至少一个目标输电部件的文本描述数据；基于第一文本信息在历史图像采集数据库中获取少量匹配的参考图像；基于目标输电部件在原始图像中的坐标位置信息，确定新生成图像中目标输电部件的目标生成区域；基于原始图像、少量所述参考图像和文本描述数据输入图像生成网络，在新生成图像的所述目标生成区域生成所述目标输电部件图像。本发明仅基于目标输电部件在原始图像中的位置，在新生成图像中的对应位置对应生成目标输电部件，而不需要基于原始图像的整幅图像新生成整幅图像，提高了输电部件影像生成效率。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于多模态数据的输电巡检图像生成方法及装置。

背景技术

随着人工智能技术在电网领域的深入应用，输电线路的缺陷查找逐渐从人工查找向人工智能识别转变。缺陷识别模型往往需要大量的数据进行训练，但是部分部件影像的数据量完全达不到训练模型的要求。目前影像生成方法主要包括基于Fusion-Based、Transformation-Based、Optimization-Based等方法来实现小样本生成，这类方法在图像生成过程中会出现大量伪影，或者会损失生成图片的多样性。输电线路的影像拍摄的场景一般很大，而目标往往是部件，所占影像很小一部分，如果对整幅影像进行生成，则会浪费大量的时间和资源。

发明内容

针对上述现有技术存在的问题，本发明提供了一种基于多模态数据的输电巡检图像生成方法及装置，提高图像生成效率和生成图像的质量。

本发明提供了一种基于多模态数据的输电巡检图像生成方法，该方法包括：

基于原始图像输入第一网络模型进行目标检测，获取原始图像中至少一个目标输电部件的文本描述数据，所述文本描述数据包括目标输电部件在原始图像中的坐标位置信息和第一文本信息，所述第一文本信息表征原始图像中目标输电部件的关联属性信息；

基于第一文本信息在历史图像采集数据库中获取少量匹配的参考图像；

基于目标输电部件在原始图像中的坐标位置信息，确定新生成图像中目标输电部件的目标生成区域；

基于原始图像、少量所述参考图像和文本描述数据输入图像生成网络，在新生成图像的所述目标生成区域生成所述目标输电部件图像。

在一些实施方式中，所述基于原始图像、少量所述参考图像和文本描述数据输入图像生成网络，在新生成图像的所述目标生成区域生成所述目标输电部件图像，包括：

基于原始图像和少量参考图像获取全局图像的像素特征和目标坐标区域的局部像素特征；

基于第一文本信息生成对应的文本特征；

基于文本特征和像素特征进行融合输入到生成器模型生成模拟图像；

基于模拟图像输入到判别器模型进行真实性判别；

在判别器模型判定模拟图像为真实图像后，将所述模拟图像作为新生成图像输出。

在一些实施方式中，所述基于文本特征和像素特征进行融合，包括：

基于文本特征和图像特征的相似性衡量所述文本特征和图像特征的匹配性；

基于匹配性大小为文本特征分配权重，在文本特征和图像特征匹配性高时，为文本特征分配高权重，在文本特征和图像特征匹配性低时，为文本特征分配低权重；

基于文本特征、文本特征权重和图像特征提取高层次图像特征。

在一些实施方式中，所述基于文本特征、文本特征权重和图像特征进行提取高层次图像特征，还包括：

(41)对于上一步获取的图像特征进行分析，更新当前时刻文本特征的权重；