[发明专利]一种图像分割方法及装置

权利要求书

1.一种图像分割方法，其特征在于，该方法包括：

获取待分割图像；

利用预设的3D卷积神经网络模型确定所述待分割图像中进行参数调整后的每个目标物的分割图像，所述3D卷积神经网络模型基于图像样本数据预先训练得到，所述3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块；具体的利用所述预设的3D卷积神经网络模型确定所述待分割图像中进行参数调整后的每个目标物的分割图像的过程包括：

利用所述提取模块，提取所述待分割图像的至少一个目标物的第一特征图矩阵；

利用所述像素级显著性增强模块，对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，其中，所述每个所述目标物的第一特征图矩阵中的参数为所述目标物的像素；

根据所述通道级显著性增强模块，增强每个所述目标物的第一特征图矩阵中的矩阵通道，确定每个所述目标物的通道级的加权矩阵；

利用所述3D残差反卷积模块，针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到所述目标物的目标矩阵，增大每个所述目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定所述待分割图像中进行参数调整后的每个所述目标物的分割图像；

其中，所述利用所述像素级显著性增强模块，对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，包括：

A1、利用所述像素级显著性增强模块的3×3×3×kernel_size卷积层对(h/2)×(w/2)×(z/2)×kernel_size进行卷积，得到h×w×z×kernel_size的特征图矩阵，其中，所述h为高度、所述w为宽度、所述z为厚度，所述kernel_size为核大小；所述(h/2)×(w/2)×(z/2)×kernel_size是利用提取模块对高度为所述h，宽度为所述w，厚度为所述z的待分割图像在通过卷积模块和3D残差卷积模块处理得到；

A2、对所述h×w×z×kesize的特征图矩阵进行维度变换得到batchsize×t×kernel_size特征图矩阵，具体为将所述h×w×z×kernel_size的特征图矩阵按照batchsize和所述kernel_size对所述目标物的h×w×z进行遍历，将所述h×w×z展开成一个一维的高维列向量，进而得到所述batchsize×t×kernel_size特征图矩阵，其中t=h×w×z；

其中，获取的所述待分割图像的数量为1时，所述batchsize为1，则所述batchsize×t×kernel_size等于t×kernel_size；

A3、对所述t×kernel_size特征图矩阵的维度进行调整，得到kernel_size×t特征图矩阵；

A4、将所述kernel_size×t特征图矩阵与所述t×kernel_size特征图矩阵做乘法运算，得到t×t特征图矩阵；

其中，所述kernel_size×t特征图矩阵与所述t×kernel_size特征图矩阵进行乘法运算的过程包括：若所述batchsize为大于1的正整数，则将batchsize×kernel_size×t特征图矩阵与所述batchsize×t×kernel_size特征图矩阵中的矩阵一一对应相乘；

A5、利用激活函数对所述t×t特征图矩阵进行非线性映射，得到非线性的t×t特征图矩阵；

A6、对至少一个目标物的第一特征图矩阵为所述(h/2)×(w/2)×(z/2)×kernel_size特征图矩阵进行维度变换，具体为按照所述batchsize和所述kernel_size对所述目标物的(h/2)×(w/2)×(z/2)进行遍历，将所述(h/2)×(w/2)×(z/2)展开成一个一维的高维列向量，得到batchsize×t1×kernel_size特征图矩阵，其中t1=(h/2)×(w/2)×(z/2)，所述batchsize等于1；

A7、将t1×kernel_size中的所述t1与所述kernel_size进行维度调整，得到kernel_size×t1特征图矩阵；

A8、将所述kernel_size×t1特征图矩阵与所述非线性的t×t特征图矩阵相乘，得到kernel_size×t特征图矩阵；

其中，所述kernel_size×t1特征图矩阵与所述非线性的t×t特征图矩阵进行乘法运算的过程包括：若所述batchsize为大于1的正整数，则将batchsize×kernel_size×t1特征图矩阵与batchsize×t×t特征图矩阵中的矩阵一一对应相乘；

A9、将所述kernel_size×t特征图矩阵进行还原得到kernel_size×h×w×z特征图矩阵；

A10、对所述kernel_size×h×w×z特征图矩阵进行维度调整，得到h×w×z×kernel_size特征图矩阵；

A11、利用加权权重为alpha*(所述h×w×z×kernel_size特征图矩阵)+input对所述kernel_size×h×w×z特征图矩阵与至少一个目标物的第一特征图矩阵为所述(h/2)×(w/2)×(z/2)×kernel_size的特征图矩阵进行加权相加，即对每个目标物的第一特征图矩阵中的像素进行调整，得到至少一个目标物的像素级的加权矩阵h1×w1×z1×kernel_size，其中，所述kernel_size为核大小；

其中，所述根据通道级显著性增强模块，增强每个目标物的第一特征图矩阵中的矩阵通道，确定每个目标物的通道级的加权矩阵，包括：

B1、利用所述通道级显著性增强模块的3×3×3×channel_size卷积层对(h/2)×(w/2)×(z/2)×channel_size第一特征图矩阵进行卷积，得到h×w×z×channel_size的特征图矩阵，其中，所述h为高度、所述w为宽度、所述z为厚度，所述channel_size为通道数；所述(h/2)×(w/2)×(z/2)×channel_size是利用所述提取模块对高度为所述h，宽度为所述w，厚度为所述z的所述待分割图像在通过所述卷积模块和所述3D残差卷积模块处理得到；

B2、对所述h×w×z×channel_size的特征图矩阵进行维度变换得到batchsize×t×channel_size特征图矩阵，具体为将所述batchsize×h×w×z×channel_size的特征图矩阵按照batchsize和所述channel_size对所述目标物的h×w×z进行遍历，将所述h×w×z展开成一个一维的高维列向量，进而得到所述batchsize×t×channel_size特征图矩阵，其中t=h×w×z；

其中，获取的所述待分割图像的数量为1，所述batchsize为1，所述batchsize×t×channel_size等于t×channel_size；

B3、对所述(h/2)×(w/2)×(z/2)×channel_size第一特征图矩阵进行维度调整得到batchsize×t1×channel_size特征图矩阵，具体为将batchsize×(h/2)×(w/2)×(z/2)×channel_size第一特征图矩阵按照所述batchsize和所述channel_size对所述目标物的(h/2)×(w/2)×(z/2)进行遍历，将所述(h/2)×(w/2)×(z/2)展开成一个一维的高维列向量，得到所述batchsize×t1×channel_size特征图矩阵，其中t1=（h/2）×（w/2）×（z/2）；

其中，获取的所述待分割图像的数量为1时，所述batchsize为1，所述batchsize×t1×channel_size等于t1×channel_size；

B4、将所述t1×channel_size特征图矩阵进行维度调整，得到channel_size×t1特征图矩阵；

B5、将所述t1×channel_size特征图矩阵与所述channel_size×t1特征图矩阵做乘法运算，得到channel_size×channel_size特征图矩阵；

其中，所述t1×channel_size特征图矩阵与所述channel_size×t1特征图矩阵进行乘法运算的过程包括，若所述batchsize为大于1的正整数，则将batchsize×channel_size×t1特征图矩阵与batchsize×t1×channel_size特征图矩阵中的矩阵一一对应相乘；

B6、将所述channel_size×channel_size特征图矩阵按照所述batchsize和所述channel_size对所述目标物的h×w×z进行遍历，将所述h×w×z展开成一个一维的高维列向量，并对该高维列向量进行pooling操作，即将每一channel_size维度的向量变成1个浮点数，得到channel_size×1特征图矩阵；

B7、利用激活函数对channel_size×1特征图矩阵进行非线性映射，得到非线性的channel_size×1特征图矩阵；

B8、将非线性的channel_size×1特征图矩阵与channel_size×channel_size特征图矩阵做乘法运算，得到channel_size×channel_size特征图矩阵；

其中，对所述非线性的channel_size×1特征图矩阵与所述channel_size×channel_size特征图矩阵进行乘法运算的过程包括：所述channel_size×1特征图矩阵中的元素与所述channel_size×channel_size特征图矩阵中对应的元素一一对应相乘；

B9、将所述channel_size×channel_size特征图矩阵与t×channel_size特征图矩阵做乘法运算，得到channel_size×t特征图矩阵，且所述channel_size×t特征图矩阵为一个3维的特征图矩阵；

其中，所述channel_size×channel_size特征图矩阵与所述t×channel_size特征图矩阵做乘法运算的过程包括：若batchsize为大于1的正整数，则将batchsize×channel_size×channel_size特征图矩阵与batchsize×t×channel_size特征图矩阵中的矩阵一一对应相乘；

B10、将所述channel_size×t特征图矩阵按照所述batchsize和所述channel_size对所述目标物的h×w×z进行遍历，将所述h×w×z展开成一个t维的高维列向量，并对该高维列向量进行pooling操作，即将每一channel_size维度的向量变成1个浮点数，得到channel_size×1特征图矩阵；

B11、利用激活函数对所述channel_size×1特征图矩阵进行非线性映射，得到非线性的channel_size×1特征图矩阵；

B12、将所述非线性的channel_size×1特征图矩阵与所述channel_size×t特征图矩阵做乘法运算，得到所述channel_size×t特征图矩阵；

其中，对所述非线性的channel_size×1特征图矩阵与所述channel_size×t特征图矩阵进行乘法运算的过程包括：所述channel_size×1特征图矩阵中的元素与所述channel_size×t特征图矩阵中对应的元素一一对应相乘；

B13、将channel_size×t特征图矩阵进行还原，得到channel_size×h×w×z特征图矩阵；

B14、将所述channel_size×h×w×z特征图矩阵进行维度调整，得到h×w×z×channel_size特征图矩阵；

B15、利用加权权重为：beta*(所述h×w×z×channel_size特征图矩阵)+ input，对所述h×w×z×channel_size特征图矩阵与至少一个目标物的第一特征图矩阵为(h/2)×(w/2)×(z/2)×channel_size的特征图矩阵进行加权相加，即对增强每个目标物的第一特征图矩阵中的矩阵通道，得到至少一个目标物的通道级的加权矩阵h1×w1×z1×channel_size，其中所述channel_size为通道数。