[发明专利]一种多模态乳腺结节的良恶性预测方法及相关装置

说明书

本申请公开了一种多模态乳腺结节的良恶性预测方法及相关装置，所述方法将若干模态的乳腺超声图像输入特征提取模块，通过所述特征提取模块确定各模态的乳腺超声图像的特征图；将确定的所有特征图输入预测模块，通过所述预测模块确定乳腺结节的良恶性类别以及各模态的乳腺超声图像各自对应的权重系数。本申请在通过预测模块基于各特征图预测乳腺结节的良恶性类别的同时，通过预测模块学习各模态的乳腺超声图像各自对应的权重系数，这样可以自动根据各模态的乳腺超声图像携带的图像信息来自动为各乳腺图像分配权重系数，从而可以提高乳腺结节良恶性类别的预测准确性。

技术领域

本申请涉及医学图像处理技术领域，特别涉及一种多模态乳腺结节的良恶性预测方法及相关装置。

背景技术

目前现有技术对超声乳腺结节的检测方法大多基于单模态B模图像，少数基于B模图像和多普勒图像或者B模图像和SE图像双模态。其中，基于单模态B膜图像时，由于现实诊断场景中存在着许多有挑战性的病例，它们在B模图像上非常相似从而容易导致预测错误的现象。基于双模态图像时，普遍是为各模态图像配置相同权重以平等对待不同模态的图像，然而，由于在许多恶性结节中，各模态的超声图像所提供的图像信息不同，从而使得现有基于双模态图像时会存在预测准确性低的问题。

因而现有技术还有待改进和提高。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种多模态乳腺结节的良恶性预测方法及相关装置。

为了解决上述技术问题，本申请实施例第一方面提供了一种多模态乳腺结节的良恶性预测方法，所述方法应用预测网络模型，所述预测网络模型包括特征提取模块和预测模块，所述方法包括：

将若干模态的乳腺超声图像输入特征提取模块，通过所述特征提取模块确定各模态的乳腺超声图像的特征图；

将确定的所有特征图输入预测模块，通过所述预测模块确定乳腺结节的良恶性类别以及各模态的乳腺超声图像各自对应的权重系数。

所述多模态乳腺结节的良恶性预测方法，其中，所述特征提取模块包括若干级联的特征单元，所述特征单元包括残差子单元以及全局上下文子单元；所述将若干模态的乳腺超声图像输入特征提取模块，通过所述特征提取模块确定各模态的乳腺超声图像各自对应的特征图具体包括：

将位于最前的特征单元作为目标特征单元，将若干模态的乳腺超声图像作为输入项；

将所述输入项输入目标特征单元中的残差子单元，通过所述残差子单元确定各输入项各自对应的第一特征图；

将各第一特征图输入目标特征单元中的全局上下文子单元，通过所述全局上下文子单元确定各第一特征图各自对应的第二特征图；

将目标特征单元的后一特征单元作为目标特征单元，将各第二特征图作为输入项，并继续执行将所述输入项输入目标特征单元中的残差子单元的步骤直至位于最后的特征单元被执行，以得到各模态的乳腺超声图像的特征图。

所述多模态乳腺结节的良恶性预测方法，其中，所述全局上下文子单元包括上下文信息提取块和特征映射块，所述各第一特征图输入目标特征单元中的全局上下文子单元，通过所述全局上下文子单元确定各第一特征图各自对应的第二特征图具体包括：

通过所述上下信息提取块对所述第一特征图执行第一通道压缩操作和及softmax操作，以得到第一特征图对应的第三特征图，并将所述第三特征图与所述第一特征图融合以得到第四特征图；

将所述第四特征图输入所述特征映射块，通过特征映射块对所述第四特征图执行第二通道压缩操作、层正则化以及通道恢复操作，以得到所述第四特征图对应的第五特征图，并将所述第四特征图与所述第五特征图融合以得到第二特征图。

所述多模态乳腺结节的良恶性预测方法，其中，所述第三特征图的通道数为1，所述第四特征图的通道数和第五特征图的通道均等于第一特征图的通道数。