[发明专利]基于多模板图像的图像数据增强方法及系统

说明书

本公开提供了一种基于多模板图像的图像数据增强方法及系统，包括：对待增强的图像数据进行分类，并从每类图像数据中选择N个图像作为模板图像；对模板图像进行像素级融合，获得融合图像；将所述融合图像分别输入分割网络和评估网络中，获得初始概率分布矩阵和N个初始混淆矩阵；其中，所述分割网络和评估网络相耦合；将N个初始混淆矩阵分别与所述初始概率分布矩阵逐元素矩阵相乘得到N个新概率分布矩阵；分别计算N个新概率分布矩阵与对应模板图像的交叉熵，并与N个混淆矩阵的迹组成损失函数；基于最小化损失函数的目标，迭代更新分割网络和评估网络的参数，达到预设优化条件后，利用分割网络输出扩充图像。

技术领域

本公开属于图像处理技术领域，尤其涉及一种基于多模板图像的图像数据增强方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

计算机视觉是当下研究十分火热领域之一，人类可以通过双眼感知外部世界，而计算机必须通过对图像的处理和识别才能获取信息。计算机视觉是一门研究如何使机器“看到”的科学。更具体地说，它就是以是摄像机、照相机、计算机来代替人眼来获取、辨识、跟踪目标。而图像处理领域更是计算机视觉中的重点研究领域，相关技术例如语义分割、目标检测、图像配准、样式迁移等等。近年来，机器学习和深度学习已经广泛应用在计算机的各个领域，计算机视觉和图像处理也不例外，当下最先进的计算机视觉应用几乎难以离开深度学习，例如卷积神经网络(CNN)、全卷积神经网络(FCN)、循环神经网络(RNN)都是应用在图像领域中经典的深度学习模型。

拥有大规模训练数据的数据集是深度学习成功应用的前提，也是影响精准度的关键因素之一。20世纪90年代，由于那时计算机的存储太小，并且数据集的采集预算有限，大部分研究只限于小的数据集，使得所提出的模型和架构性能有限。2010年后兴起大数据风暴，大规模的数据集在一定程度上促进了深度学习的发展。然而，发明人发现，许多领域由于数据采集困难、人工标注成本高，仍难以获得大量的数据用来训练模型，如医学图像领域。由此研究人员致力于找出有效扩充数据集的方法，目前最常用的方法是数据增广，是对原图进行翻转、裁剪、颜色变化、叠加图像、增加高斯噪声等。这样的方法在扩充数据集的同时也引入了可能会降低模型性能的噪声，徒增更多的冗余信息。不久前有研究人员发现，卷积神经网络会隐性地编码绝对位置信息，即图像中物体的位置会影响最后的结果。

发明内容

本公开为了解决上述问题，提供了一种基于多模板图像的图像数据增强方法及系统，所述方案构建了联合评估多幅图像特征的端到端的网络模型，融合多幅模板图像，利用混淆矩阵评估融合后图像与模板图像的差异与可靠性，最终生成一个与所有模板图像都不同、且保留重要特征的结果图像，用以扩充数据集，能够有效解决扩充后引入噪声数据的问题，提高数据集的可靠性。

根据本公开实施例的第一个方面，提供了一种基于多模板图像的图像数据增强方法，包括：

对待增强的图像数据进行分类，并从每类图像数据中选择N个图像作为模板图像，对模板图像进行像素级融合，获得融合图像；

将所述融合图像分别输入分割网络和评估网络中，获得初始概率分布矩阵和N个初始混淆矩阵；其中，所述分割网络和评估网络相耦合；

将N个初始混淆矩阵分别与所述初始概率分布矩阵逐元素矩阵相乘得到N个新概率分布矩阵；

分别计算N个新概率分布矩阵与对应模板图像的交叉熵，并与N个混淆矩阵的迹组成损失函数；

基于最小化损失函数的目标，迭代更新分割网络和评估网络的参数，达到预设优化条件后，利用分割网络输出扩充图像。

进一步的，所述图像融合采用线性融合的方式，通过对不同模板图像对应像素之和求均值，并进行归一化处理。

进一步的，所述分割网络采用概率U-Net，通过所述分割网络生成仅依靠单一的融合图像进行分割后的概率分布矩阵。