[发明专利]一种显微图像数据增强方法及装置

说明书

本发明提供一种显微图像数据增强方法及装置，能够自动标注图像。所述方法包括：生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。本发明涉及测量显微镜技术领域。

技术领域

本发明涉及测量显微镜技术领域，特别是指一种显微图像数据增强方法及装置。

背景技术

在材料科学、医学、电子器件、显微机械等领域的研究中，研究人员通常利用显微镜拍摄显微图像，进而观测微观组织或显微结构，并利用图像分析方法提取图像中感兴趣区域或目标的特征，最终进行材料/器官组织分析或器件质量评估等。目前，在图像分类、图像目标检测、图像分割等任务中，基于卷积神经网络的图像分析方法在分析准确率和效率上取得了突破性的成果。但在实际操作过程中，该方法需要大量的人工标注数据供算法训练模型，造成该方法泛化性能低下，难以准确快速地学习新图像的特征。

发明内容

本发明要解决的技术问题是提供一种显微图像数据增强方法及装置，以解决现有技术所存在的显微图像分析任务中需要大量人工标注的问题。

为解决上述技术问题，本发明实施例提供一种显微图像数据增强方法，包括：

生成真实显微图像的虚拟图像；

通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；

根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

进一步地，所述生成真实显微图像的虚拟图像包括：

通过模拟方法生成真实显微图像的虚拟图像；

其中，所述模拟方法包括：顶点运动模拟、相场模拟、基于波茨模型的三维蒙特卡罗模拟。

进一步地，所述通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像包括：

获取真实显微图像作为参考图像；

对参考图像和虚拟图像做预处理，以消除显微尺度级别差异性；

构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；其中，所述风格迁移网络模型，用于提取图像纹理风格特征；

将虚拟图像输入到训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。

进一步地，所述根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型包括：

根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应的语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，作为有标注的训练样本；

根据得到的有标注的训练样本，利用机器学习算法，训练图像分析模型；

获取已标注的若干个真实图像样本，根据得到的已标注的若干个真实图像样本，微调图像分析模型。

进一步地，所述机器学习算法包括：逻辑回归、支持向量机或卷积神经网络。

本发明实施例还提供一种显微图像数据增强装置，包括：

生成模块，用于生成真实显微图像的虚拟图像；

迁移模块，用于通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；