[发明专利]一种基于双视图的钼靶影像语义标签预测方法

权利要求书

1.一种基于双视图的钼靶影像语义标签预测方法，满足以下要求：（1）适用于致密型和非致密型乳腺钼靶影像；（2）同时具有同一患者的CC视图和MLO视图；（3）有病灶语义标签集，其特征在于，包括以下步骤：

步骤1、数据预处理

获取同一患者的CC视图和MLO视图后，先采用限制对比度自适应直方图均衡对致密型乳腺钼靶的影像进行增强，随后采用阈值分割方法减少视图中的背景区域，对原始影像数据集进行扩充；

步骤2、语义标签预测方法的特征提取

对于数据预处理后的同一乳房的CC视图和MLO视图进行拼接后，利用深度卷积网络DCN对拼接后的图像进行致密性与非致密性分类，致密性图像进行图像增强后与非致密性图像一起输入深度卷积网络CNN，通过深度卷积网络CNN提取CC视图的视觉特征CC和MLO视图的视觉特征MLO，并将视觉特征CC与视觉特征MLO进行特征融合，得到融合后的特征向量；

步骤3、语义标签预测方法的多标签预测

将深度卷积网络CNN得到的融合后的特征向量输入深度卷积网络MLL进行标签预测，在真实标签词汇中，每个标签由一个热编码矢量表示，对于由一组特定图像预测的标签矢量，真实标签和预测标签之间的误差由均方误差计算，最后使用自动阈值方法选择k个最可能的标签向量，并根据标签词汇表生成标签。

2.如权利要求1所述的一种基于双视图的钼靶影像语义标签预测方法，其特征在于，在所述深度卷积网络CNN的前向传播过程中，通过前向神经网络输出+shortcut连接实现，shortcut连接执行了恒等映射，不会产生额外的参数，也不会增加计算复杂度。

3.如权利要求1所述的一种基于双视图的钼靶影像语义标签预测方法，其特征在于，所述深度卷积网络CNN的最后两层结构将提取的所述视觉特征CC与所述视觉特征MLO进行融合，融合时，首先将所述视觉特征CC与所述视觉特征MLO进行拼接，然后使用全连接层压缩数据维度，并进一步提高语义特征的精度，最后使用整流线性单元激活函数解决神经网络反向传播过程中方法参数的梯度消失问题。