[发明专利]一种基于多模态融合的医疗影像目标检测方法

摘要

本发明公开了一种基于多模态融合的医疗影像目标检测方法，具体涉及多模态融合与模式识别领域，包括以下步骤：步骤A1、获取成对的多模态原始待检测图像；步骤A2、对原始的待检测图像进行像素值归一化，得到预处理后的待检图像；步骤A3、将预处理后的待检测图像输入目标检测网络进行检测，模态间使用自适应方法进行中间特征的融合，最后得到目标的包围框和属于各类别的概率；步骤A4、根据包围框和属于各类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别。本发明采用基于特征的融合方式，提出一种高效的自适应融合方法，以实现更加细分的特征加权，提高检测的精度。

主权项

1.一种基于多模态融合的医疗影像目标检测方法，其特征在于：包括以下步骤：步骤A1、获取成对的多模态原始待检测图像；步骤A2、对所述原始的待检测图像进行统一的像素值归一化，得到预处理后的多模态待检图像，并在图像上均匀预设检测锚点；步骤A3、将A2所述预处理后的待检测多模态图像对分别输入目标检测网络进行特征提取，得到多模态图像特征金字塔；根据得到的图像金字塔的高层信息，将两种模态的特征进行合并，作为多模态输入的全局信息；并利用全局信息，对中间特征图的通道进行自适应加权，得到融合后的特征；步骤A4、包围框的分类以及位置偏差回归；对上一步得到的特征表示进行分类处理，并通过偏差回归精细化包围框的位置，最后通过改进的非极大值抑制方法得到最终的检测结果；其中，所述改进的非极大值抑制算法包括：步骤A41、根据所有所述锚点属于各目标类别的概率，选择其中最大概率值对应的包围框，作为评分最高的包围框M；步骤A42、根据下式的方法，对除包围框M以外的其他包围框进行重新评分：其中，s_i代表第i个包围框的评分值，初值为该包围框属于各目标类别的概率中最大概率值；b_i代表第i个包围框，且不等于M；iou(M,b_i)代表包围框M与b_i的重叠度；N₁代表第一重叠度阈值；步骤A43、遍历其他包围框，对所有与M的重叠度大于第二重叠度阈值N₂的包围框进行删除操作；将包围框M作为一个目标物体的包围框，将该包围框的属于各目标类别的概率中最大概率值对应的目标类别作为该目标物体的类别；步骤A44、从余下的包围框中选择评分最高的包围框M，并转至步骤A42，直到处理完所有的包围框。