[发明专利]一种多模态乳腺结节的良恶性预测方法及相关装置

权利要求书

1.一种多模态乳腺结节的良恶性预测方法，其特征在于，所述方法应用预测网络模型，所述预测网络模型包括特征提取模块和预测模块，所述方法包括：

将若干模态的乳腺超声图像输入特征提取模块，通过所述特征提取模块确定各模态的乳腺超声图像的特征图；

将确定的所有特征图输入预测模块，通过所述预测模块确定乳腺结节的良恶性类别以及各模态的乳腺超声图像各自对应的权重系数。

2.根据权利要求1所述多模态乳腺结节的良恶性预测方法，其特征在于，所述特征提取模块包括若干级联的特征单元，所述特征单元包括残差子单元以及全局上下文子单元；所述将若干模态的乳腺超声图像输入特征提取模块，通过所述特征提取模块确定各模态的乳腺超声图像各自对应的特征图具体包括：

将位于最前的特征单元作为目标特征单元，将若干模态的乳腺超声图像作为输入项；

将所述输入项输入目标特征单元中的残差子单元，通过所述残差子单元确定各输入项各自对应的第一特征图；

将各第一特征图输入目标特征单元中的全局上下文子单元，通过所述全局上下文子单元确定各第一特征图各自对应的第二特征图；

将目标特征单元的后一特征单元作为目标特征单元，将各第二特征图作为输入项，并继续执行将所述输入项输入目标特征单元中的残差子单元的步骤直至位于最后的特征单元被执行，以得到各模态的乳腺超声图像的特征图。

3.根据权利要求2所述多模态乳腺结节的良恶性预测方法，其特征在于，所述全局上下文子单元包括上下文信息提取块和特征映射块，所述各第一特征图输入目标特征单元中的全局上下文子单元，通过所述全局上下文子单元确定各第一特征图各自对应的第二特征图具体包括：

通过所述上下信息提取块对所述第一特征图执行第一通道压缩操作和及softmax操作，以得到第一特征图对应的第三特征图，并将所述第三特征图与所述第一特征图融合以得到第四特征图；

将所述第四特征图输入所述特征映射块，通过特征映射块对所述第四特征图执行第二通道压缩操作、层正则化以及通道恢复操作，以得到所述第四特征图对应的第五特征图，并将所述第四特征图与所述第五特征图融合以得到第二特征图。

4.根据权利要求3所述多模态乳腺结节的良恶性预测方法，其特征在于，所述第三特征图的通道数为1，所述第四特征图的通道数和第五特征图的通道均等于第一特征图的通道数。

5.根据权利要求1所述多模态乳腺结节的良恶性预测方法，其特征在于，所述若干模态的乳腺超声图像中的各模态的乳腺超声图像均为同一对象的乳腺超声图像，并且每个模态的乳腺超声图像中的各像素各自对应的模态均相同。

6.根据权利要求1所述多模态乳腺结节的良恶性预测方法，其特征在于，在所述预测网络模型的训练过程中，对输入预测网络模型的若干模态的训练乳腺超声图像中各模态的训练乳腺超声图像所执行的图像增强操作相同，其中，训练过程中的若干模态的训练乳腺超声图像的图像数量与预测过程中的若干模态的乳腺超声图像的图像数量相同。

7.根据权利要求1所述多模态乳腺结节的良恶性预测方法，其特征在于，所述将确定的所有特征图输入预测模块，通过所述预测模块确定乳腺结节的良恶性类别以及各模态的乳腺超声图像各自对应的权重系数还包括：

通过所述预测模块确定各模态的乳腺超声图像的目标结节区域。

8.一种多模态乳腺结节的良恶性预测装置，其特征在于，所述的装置包括：

特征提取模块，用于基于若干模态的乳腺超声图像确定各模态的乳腺超声图像的特征图；

预测模块，用于基于确定的所有特征图确定乳腺结节的良恶性类别以及各模态的乳腺超声图像各自对应的权重系数。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的多模态乳腺结节的良恶性预测方法中的步骤。

10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的多模态乳腺结节的良恶性预测方法中的步骤。