[发明专利]一种针对先心病的超声多切面数据的报告生成方法

说明书

本发明公开了一种针对先心病的超声多切面数据的报告生成方法，其特征在于包括以下步骤：步骤1、完成训练数据及预处理；步骤2、利用超声图像特征提取器，完成超声图像特征提取，在超声图像的特征提取器中，采用残差结构来传递浅层的纹理、颜色信息，采用了4个卷积模块，每个卷积模块内部2个卷积层、2个批标准化层和2个激活函数；步骤3、设置病理标签图；步骤4、采用多帧超声图像注意力机制，提取信息；步骤5、建立多帧超声图像报告生成模型，基于先心病超声的多切面报告生成模型的结构，该模型建立在临床的基础需求上，由于对网络速度的要求，没有选用非常复杂的网络结构，而依照这一标准构建的模型也达到了临床要求的精度标准。

技术领域

本发明涉及到利用多尺度检测网络、多尺度特征提取模块和焦点区域检测模块分类的方法，尤其涉及一种针对先心病的超声多切面数据的报告生成方法。

背景技术

先天性心脏病是中国和其他许多国家新生儿中最常见的疾病之一。先天性心脏病占我国出生婴儿的8‰-12‰，意味着我国每年有12万～20万的先天性心脏病患儿出生，其中复杂的、目前治疗手段尚不能达到良好治疗效果的或易出生后早期死亡的先天性心脏病约占20％，是新生儿及儿童期的主要死亡原因之一。

虽然先天性心脏病十分常见，但目前对新生儿和儿童的心脏超声检查水平参差不齐，对超声图像的处理能力亟待提高。因此，相关领域的专家和学者提出了使用人工智能对相关超声图像进行处理。Perrin等人提出了一种基于卷积神经网络对先天性心脏病图像进行分类的方法。Abdi等人则开发了一种基于心尖四腔回声切面质量评估的深度卷积神经网络。Dezaki等人则设计了一个提取超声心动图的时间相关性的神经网络。

上述工作为人工智能在先天性心脏病中图像识别应用打下了坚实的基础，但目前仍然尚无通过超声心动图进行人工智能图像处理系统，也没有一种针对先心病的超声多切面数据的报告生成方法。

发明内容

本发明的目的在于提供一种针对先心病的超声多切面数据的报告生成方法，该方法建立在临床的基础需求上，提高超声图像的报告生成的效率。

本发明的技术方案是提供了一种针对先心病的超声多切面数据的报告生成方法，其特征在于包括以下步骤：

步骤1、完成训练数据及预处理；

步骤2、利用超声图像特征提取器，完成超声图像特征提取。

在超声图像的特征提取器中，采用残差结构来传递浅层的纹理、颜色信息，采用了4个卷积模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数；

步骤3、设置病理标签图，使用语言解析器自动从报告中提取出各种主谓宾组合，并进行人工筛选，总结成25种病理标签，每种标签包含正负两种分别代表病理的两个不同的观察结果，提取出病理标签图后，以此作为额外的标签数据，指导特征提取器进行学习；

步骤4、采用多帧超声图像注意力机制，提取信息；

步骤5、建立多帧超声图像报告生成模型，对于数据集中的报告进行主题划分和病理标签提取，从而得到5个主题句及25个病理标签，对于输入的多张多视角超声图像采用注意力机制进行融合，构建5个主题句的初始输入全连接图和全连接邻接矩阵。

进一步地，步骤2中，首先，在图像预处理操作中改变图片的大小，将图片变为适合输入网络的224×224的大小，之后，将图片通过7×7的卷积层，其图片大小变为112×112，之后，通过一个3×3、步长为2的最大池化层，将图片大小变为56×56，然后通过4个卷积模块，每个卷积模块包含2个3×3卷积层，且在通过2个3×3卷积层后都需要通过批标准化层和ReLu激活层，以使各个通道的特征保持相同的分布。

进一步地，步骤3中，构建了25个结点的病理标签图结构，用来模拟病理之间的关系