[发明专利]基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统

权利要求书

1.一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，包括依次连接的基于自上而下的注意力模型剔除原始极坐标图像中的噪声得到预处理图像的子系统，利用多任务神经网络对预处理图像中的易损斑块进行分类与分割的子系统，以及对分类与分割出的易损斑块图像进行区域精修的子系统；

其采用包括如下步骤的识别方法，

步骤1，基于自上而下的注意力模型剔除原始极坐标图像中的噪声；

将原始极坐标图像通过坐标转换变换为笛卡尔坐标图像；将转换后的笛卡尔坐标图像输入自上而下的注意力模型，生成同尺寸大小的二值化噪声mask，并将其剔除后得到预处理图像；

步骤2，利用多任务神经网络对预处理图像中的易损斑块图像进行分类与分割；多任务神经网络包括两个分支，

一个用于分类识别预处理图像中是否包含易损斑块图像的分支网络，对于分类识别预处理图像中是否包含易损斑块图像的分支网络，分支网络的输入是预处理图像x,输出y是预处理图像分类结果，其中y∈{0,1}，取值为0代表预处理图像不包括易损斑块，取值为1代表包含易损斑块；

在n张训练图像中损失函数定义如下:

y_i表示分别识别分支网络中分类与分割出的易损斑块图像的真实标签，表示图像y_i中像素点预测概率；

另一个分支通过语义分割网络定位易损斑块图像的分支网络，两个分支网络共享两个卷积层；

对于通过语义分割网络定位易损斑块图像的分支网络，将像素级分类转换为列分类；假设分支网络输入的预处理图像尺寸为M*N，通过多次卷积和反卷积层，网络生成了对应大小为M*N的特征映射图像，之后使用尺寸为M*1的卷积核，步幅设为1可生成尺寸为1*N的特征映射；对应的损失函数定义为：

式中i代表输入图像的个数，y_j表示语义分割分支网络中分割出的易损斑块图像的真实标签，代表图像y_j中每个像素点的预测概率；

结合分类与分割两个网络分支，整个多任务神经网络的损失函数表示如下：

L＝αL_cls+βL_seg (3)

式中，α,β代表整个网络的权重；

通过对标定好的心血管OCT易损斑块图像进行训练最小化损失函数L，求解α,β后获得最优的网络结构；完成对易损斑块图像进行分类与分割；

步骤3，对分类与分割出的易损斑块图像进行区域精修；通过中值滤波器剔除不连续的易损斑块图像的标签信息，从而识别获得心血管易损斑块图像的检测结果。

2.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，步骤1中，在不降低图像分辨率不损失图像信息的前提下，自上而下的注意力模型中应用空洞卷积层，通过多个空洞卷积层，使得图像感受视野指数级增加。

3.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，步骤1中自上而下的注意力模型中融入有坐标转换，将最终的特征图谱从极坐标转换为笛卡尔坐标，最后连接softmax层实现像素级分类，生成同尺寸大小的二值化噪声mask。

4.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，步骤1中，将获得的二值化噪声mask与原始极坐标图像的笛卡尔坐标图像相乘剔除心血管OCT图像中的噪声部分；所述的噪声部分包括成像导管、成像探头以及血管。

5.根据权利要求1所述一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，对分类与分割出的易损斑块图像进行区域精修的子系统用于根据先验统计信息确定中值滤波器中的像素大小，并通过该确定像素大小后的中值滤波器剔除不连续的易损斑块标签信息，输出更为精确的检测结果。