[发明专利]基于辅助诊断和主观美学的乳腺超声图像质量评价方法

权利要求书

1.一种基于辅助诊断和主观美学的乳腺超声图像质量评价方法，其特征在于步骤如下：

步骤1：构建得到乳腺超声图像数据库，数据库包括乳腺超声图像及其强监督标注信息或弱监督标注信息，所述的强监督标注信息是指精确标注出图像中的病灶ROI、对应诊断结果和美学评分的信息，所述的弱监督标注信息是指仅标注出图像对应诊断结果和美学评分的信息；所述的美学评分为1-5级标识，分数越高图像质量越好；其中，数据库中带有强监督标注信息的乳腺超声图像不少于500幅，带有弱监督标注信息的乳腺超声图像不少于1200幅；

步骤2：采用多种小样本学习策略，训练病灶ROI的自动分割深度网络模型DNN-1，具体为：

步骤2.1：将每一幅带强监督标注图像横向均分为m段，纵向均分为n段，以此切割出m*n个互相不重叠的小图像块，并将包括病灶ROI边缘的图像块标记为1，其余图像块标记为0；然后，将所有小图像块输入卷积网络，得到小图像块的抽象特征矢量；再以小图像块的抽象特征矢量及小图像块的标记为输入，训练SVM分类器，得到判断小图像块是否含有病灶ROI的分类决策面；

步骤2.2：随机从数据库中选择200幅带弱监督标注的图像，采用步骤2.1中的方式将每一幅图像分别划分为m*n个图像块，并利用步骤2.1得到的分类决策面对每一个图像块进行分类，每个图像块得到是否含有病灶ROI的伪标签1或0；

步骤2.3：以步骤2.2得到的所有带伪标签的图像块和步骤2.1中对带强监督标注图像切割得到的所有带标记的小图像块为输入，重新训练SVM分类器，得到新的判断小图像块是否含有病灶ROI的分类决策面；

步骤2.4：采用步骤2.1中的方式对数据库中剩余带弱监督标注图像分别划分为m*n个图像块，并利用步骤2.3得到分类决策面对每一个图像块进行分类，每个图像块得到标签1或0，至此，数据库中所有带弱监督标注图像均完成了图像块标记；

步骤2.5：对所有标记过的弱监督标注图像，进行边缘检测和拼接，得到弱监督图像的近似病灶ROI轮廓；

步骤2.6：以近似病灶ROI轮廓作为弱监督标注图像的强监督标注信息，和弱监督标注图像一起输入DNN-1网络，DNN-1网络采用RCNN网络模型，对网络进行训练，得到训练好的网络，网络的输出为图像的病灶ROI自动分割结果；

步骤3：以原始弱监督标注超声图像和经DNN-1分割得到的病灶ROI图像作为输入，对DNN-2网络进行训练，得到训练好的网络，网络输出为该图像是否为病灶图像的分类结果；

所述的DNN-2网络包括两个独立的VGG网络，分别对应全局图像输入和局部图像输入，两个VGG网络的卷积层得到的特征向量，经过Softmax归一化后，再经过全连接层连接得到DNN-2网络最终的输出；

步骤4：以数据库中所有图像及其美学评分为输入，对DNN-3网络进行训练，DNN-3网络为独立的VGG网络，并采用迁移学习方式将训练好的DNN-2网络中对应全局图像输入的VGG网络参数迁移作为DNN-3网络的初始化参数，得到训练好的网络，网络输出为图像的美学评分；

对任意一幅待处理的乳腺超声图像，将其分别输入到训练好的DNN-2网络中对应全局图像输入的VGG网络和训练好的DNN-3网络，并基于attention机制对网络倒数第二层输出的特征矢量进行融合处理，融合后的特征向量经softmax归一化和全连接层连接后，得到该图像的质量评价结果。