[发明专利]基于2D CAM的大脑核磁共振异常图像的可视化方法

权利要求书

1.一种基于2D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述可视化方法如下：

1)采集患者的大脑核磁共振异常图像作为训练样本；

2)利用训练样本对2D CAM进行训练，确定训练后的网络参数即系数矩阵W和偏倚向量b值；

21)构建2D CAM模型，并随机初始化网络参数；

构建2D CAM模型，该2D CAM模型包括输入层、卷积层、池化层、全局平均池化层、全连接层及输出层，并对2D CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值，使系数矩阵W和偏倚向量b值为一个初始的随机值；

22)2D CAM网络第一次正向迭代；

23)2D CAM网络第一次反向迭代；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重W^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W^l和偏置b^l；

所述步骤22)中，具体过程如下：

221)大脑核磁共振异常图像作为输入层；

以三维的大脑核磁共振异常图像沿第一维度切片的m张二维图像作为2D CAM模型的输入层，输入层采用的是分辨率大小为H×L的2D MRI图像，H代表的是2D MRI图像的高度，L代表的是2D MRI图像的宽度；将每张二维的核磁共振异常图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量x，向量x中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量x本身；

222)卷积层Conv 1a层采用N个大小F₀为H₀×L₀的二维卷积核对步骤1)的核磁共振异常图像进行二维卷积，获取Conv 1a层二维卷积后特征图，其中H₀远小于H、L₀远小于L；

卷积层Conv 1a层的二维卷积核的个数为N个、尺寸大小F₀为H₀×L₀，步长stride记为S_C1，特征图填充圈数为Padding-F₁，2D MRI图像作为2D CAM网络的输入层，采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积，有多少个卷积核得到多少个特征图像，因此得到了数量为m×N的Conv 1a层二维卷积后特征图，分辨率大小为Hc₁×Lc₁，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1，Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b^l，其中代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积时，得到该卷积层的神经元连接到输入层神经元的权重为W²，一个偏置为b²，Conv 1a层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层二维卷积后特征图进行池化；

池化层的Pool 1层采用池化核尺寸大小为p₀，步长stride记为S_P1，特征图填充圈数为Padding-P_1，对Conv 1a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 1层池化后特征图，即m×N张分辨率大小H_p1×L_p1的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1，L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1层在池化Conv 1a层二维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次二维卷积；

卷积层Conv 2a层的二维卷积核的个数为2N个、尺寸大小F₀为H₀×L₀，步长stride记为S_C2，特征图填充圈数为Padding-F₂，对Pool 1层每一张池化后特征图进行二次二维卷积得到m×2N个Conv 2a层二维卷积后特征图，分辨率大小为Hc₂×Lc₂，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1，Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a层采用2N个二维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W²，以及一个偏置b²，Conv 2a层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv 2a层二维卷积后特征图进行池化；

池化层的Pool 2层采用池化核尺寸大小为p₀，步长stride记为S_P2，特征图填充圈数为Padding-P₂，对Conv 2a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 2层池化后特征图，即m×2N张分辨率大小H_p2×L_p2的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1，L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2层池化Conv 2a层二维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)且循环多次直至完成提前设定的卷积、池化层数后，停止卷积和池化；

227)对步骤226)中最后一层池化后特征图进行全局平均池化操作；

对最后一层池化后的特征图进行全局平均池化，计算每一张二维特征图所有像素点的均值，输出每一张池化后特征图的数据值，每个数据值也分别相对应着一个神经元；

228)采用全连接层将步骤227)每一张特征图全局平均池化后所对应的全部神经元全连接至一个个的单一神经元；

229)采用全连接层连接至步骤228)所有单一神经元，所有单一神经元对应的数据值形成一个特征向量，将特征向量输送至分类输出层并输出多个类别；

步骤3)根据不同的核磁共振异常图像创建可视化热度图；

31)提取训练后2D CAM模型中步骤229)全连接层的所有权重w'；

32)提取训练后2D CAM模型中步骤228)全连接层连接至一个个单一神经元的所有权重w”，即为w”₁、w”₂、...、w”_j；

33)将步骤228)全局平均池化后特征图中乘以其步骤31)和步骤32)中相应的权重w'w”；

34)将得到多张热力图进行热力图归一化，按第一维度展开成所需的患者原大脑核磁共振异常图像的大小，将切片特征图相加，然后按进行图像二维显示，实现了基于2D CAM的大脑核磁共振异常图像的可视化。