[发明专利]一种基于对抗训练的反向域自适应方法

权利要求书

1.一种基于对抗训练的反向域自适应方法，其特征在于，主要包括生成合成的医学数据(一)；反向域适应(二)；单眼内窥镜图像深度估计(三)。

2.基于权利要求书1所述的生成合成的医学数据(一)，其特征在于，生成一个去除患者特定细节的大型医疗图像数据集，使网络可以训练通用诊断特征；合成数据可以由以下三部分生成：

(1)为医学成像设备开发精确的正演模型；

(2)生成正在成像的器官解剖学准确模型；

(3)从各种位置、角度和参数渲染图像。

3.基于权利要求书2所述的图像数据集，其特征在于，开发一种内窥镜的正演模型，使用广角单眼相机和两到三个光源，显示真实的平方反比定律强度衰减；使用综合生成的、解剖结构准确的结肠模型，并使用放置在各种角度和变化条件下的虚拟内窥镜对其进行成像，以模拟实际内窥镜的移动；为每个渲染图像生成像素级的标定真实深度；最终创建具有26万个具有标定真实深度的图像数据集。

4.基于权利要求书1所述的反向域适应(二)，其特征在于，主要包括转换器损失、鉴别器损失和自正则化。

5.基于权利要求书4所述的转换器损失，其特征在于，提出的反向域适应方法的目标是使用一组合成图像来学习能够将真实图像变换成类似合成表示的转换器；变换器应能够欺骗鉴别器；该设置有三个关键要求：

(1)转换器输出应该只删除图像中患者特定的细节，同时保留诊断特征；

(2)对抗训练不应该在变换后的图像中引入伪影；

(3)对抗训练应该稳定。

6.基于权利要求书4所述的鉴别器损失，其特征在于，为了将真实图像转换为合成图像，真实图像和合成图像之间的差距需要最小化；理想的转换器应该每次都能够产生真实图像无法区分的合成表示，如果将鉴别器嵌入在转换器损失函数内，则可以实现；鉴别器的作用是强制转换器产生合成图像；

为了训练网络，对合成图像进行小批量采样，并将图像通过转换器转换成合成图像；使用随机采样、缓冲输出和一组随机采样的合成图像；这增加了对抗性训练的稳定性，因为缺乏记忆会使对抗性训练产生分歧并引入伪像；在每个步骤中，使用这个小批量和参数训练鉴别器，使用随机梯度下降(SGD)进行更新；然后用训练过的鉴别器更新转换器损失；随着转换器和鉴别器之间的训练达到平衡，转换器每次都可以欺骗鉴别器。

7.基于权利要求书4所述的自正则化，其特征在于，转换器的一个关键要求是只移除患者特定的数据，并应保留其他特征，如形状等；利用真实图像和合成真实图像之间的简单像素损失项来惩罚变换后的图像与实际图像的显著偏差；

总损失函数测定了鉴别器被欺骗的程度，估计变换后的图像与真实图像的接近程度。

8.基于权利要求书1所述的单眼内窥镜图像深度估计(三)，其特征在于，为了评估提出的反向域适应方法的有效性，利用综合生成的内窥镜检查数据训练网络，并证明它可以适应三个不同的目标域；通过对抗训练证明目标域的分布可以更加接近源域，表明深度估计范例是域独立的；

一旦产生了具有标定真实深度的合成数据，则使用基于卷积神经网络-条件随机场(CNN-CRF)的深度估计框架；假设是一种合成内窥镜图像，它已被分成p超像素，是每个超像素的深度矢量；在这种情况下，合成数据的条件概率分布可以定义为：

其中，E是能量函数；为了预测新图像的深度，需要解决最大后验概率(MAP)问题，

9.基于权利要求书8所述的能量函数，其特征在于，令ξ和η为x的节点和边缘上的一元势函数和二元势函数，则能量函数可以表示为：

其中，ξ从单个超像素回归深度，η鼓励相邻超像素之间的平滑度；目标是在一个统一的CNN框架中学习两个势函数。

10.基于权利要求书9所述的一元势函数和二元势函数，其特征在于，一元势函数部分将单个图像超像素片作为输入，并将其馈送到输出该超像素回归深度的CNN；二元势函数是基于标准CRF顶点和边缘的特征函数；β为网络参数，S为相似度矩阵，其中表示第i个和第j个超像素之间的相似性度量；整体能量函数最终为：

为了训练，相对于两个学习参数，可以最小化从公式(1)计算的概率密度函数的负对数似然性；两个正则化项被添加到目标函数中惩罚重度加权的向量。