[发明专利]一种基于多网络融合的医疗影像报告生成方法

说明书

本发明公开了一种基于多网络融合的医疗影像报告生成方法，采用多深度神经网络模型融合的并行训练技术，此外，提出影像信息自适应聚焦技术，基于自适应注意力机制实现多网络特征的融合，利用经过聚焦编码后的医疗影像病理信息，研究跨媒体信息编解码技术，结合基于Seq2Seq的循环神经网络解码模型以及基于模板的报告生成技术，构建医疗影像文本报告生成流程。本发明以医疗影像报告生成技术为切入点，利用深度人工神经网络，构建端到端的医疗影像报告生成架构，对医疗影像进行精确分析，实现智能快速的医疗影像分析报告生成，具有持续可升级、智能化水平高、价格低廉、适用场景广泛等诸多优势。

技术领域

本发明涉及影像报告处理领域，具体来讲是一种基于多网络融合的医疗影像报告生成方法。

背景技术

从上个世纪八十年代开始，国外医生以及学者们就开始尝试使用计算机辅助的方式进行诊断报告生成，以代替简单繁琐的体力劳动，然而受限于这一时期计算机技术的发展，只能够采用比较简单的形式进行诊断报告书写或者计算机辅助录入。

进入21世纪后，随着计算机智能技术的发展，计算机辅助诊断报告生成越来越受到重视，典型的方式有语音辅助输入、基于医学影像分析的辅助输入等。限于当时的条件，早期的语音录入系统词汇量少，出错率高。随着语音识别技术的发展，语音识别的正确率逐渐提升，基于深度学习的语音识别技术也开始应用于医学领域，医生才开始更多地使用语音识别的方式进行计算机诊断报告的录入。基于医学影像的报告生成技术主要包括基于DICOM(Digital Imaging and Communications in Medicine)的影像报告生成技术以及基于人工智能的影像分析和报告生成技术。DICOM即医学数字成像和通信，是医学图像和相关信息的国际标准，是一类通过医学影像辅助系统的帮助，将影像中的病理信息进行量化和存储的医学影像专用格式。然而传统的基于DICOM的报告生成方法往往只能对一种格式、包含一类病灶的医学影像进行处理，难以对病灶进行综合医学影像分析，且该方法只能处理小批量的数据，无法同时并行处理大量医学影像数据，其速度慢、智能化程度低的弊端已经影响到了医院的诊疗效率。因此，基于人工智能技术的影像分析和报告生成技术应运而生。由于图像和文本的异构属性，早期的医学影像报告生成技术中，关于医学图像和医学文本的研究是分离的。随着以深度学习为代表的新一代人工智能技术的发展，异构数据间语义鸿沟的部分问题得到解决，使得跨媒体数据的应用和相关研究成为可能，并快速成为当今计算机科学领域发展的趋势。当前基于人工智能的医疗影像分析和报告生成技术的研究还处于起步阶段，因此迫切需要一种能对海量异构医疗影像进行分析，并快速生成影像分析报告的实用方法。

与本发明有关的现有技术

基于DICOM的影像报告生成技术：2006年，浙江大学的王冠在《基于IHE的影像诊断报告系统研究于实现》中基于IHE技术框架设计思想和结构化文档技术，结合DICOM SR和XML技术，设计了结构化诊断报告文档，实现了诊断报告的跨科室共享和结构化诊断报告生成。

2017年，河北大学的李卫康在《基于健康体检的数字医学图像报告系统的设计与实现》中利用C725D视频采集卡采集医学图像设备上的医学图像，转换模块基于DICOM3.0标准将采集的JPEG图像结合病人基本信息转换成标准DICOM文件并通过传输及存储模块进行传输存储，实现了基于健康体检的数字医学图像报告系统。

此外，也有报道全身骨图像计算机智能诊断软件，该软件对DICOM格式的全身骨图像经过处理后给出包括病变区域、数量的诊断报告。另有报道骨髓细胞形态学微机辅助诊断管理图文系统，可对骨髓细胞形态学特征做出自动报告，其自动诊断符合率达85%，医生平均修改报告字数3.2字，可节约骨髓细胞形态学诊断报告时间25分钟。

其存在以下缺点：