[发明专利]一种基于多模态临床诊疗数据的病情分析系统

说明书

本发明涉及一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；病历信息提取单元用于提取患者的医疗信息；视频采集单元用于采集患者就诊视频；影像数据采集单元用于采集患者影像数据；特征提取单元用于提取多模态数据特征；多模态融合单元将多模态数据特征进行融合，得到多模态融合特征；病情分类单元基于多模态融合特征，输出病情分类；在线学习单元基于医疗信息、就诊视频及影像数据，更新网络模型参数，实现模型在线学习。与现有技术相比，本发明提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。

技术领域

本发明涉及人工智能及数字医疗技术领域，尤其是涉及一种基于多模态临床诊疗数据的病情分析系统。

背景技术

疾病诊断要求医生根据病人当前病的严重程度给出病情分析从而确定治疗手段，这种能力需要大量的临床经验和医学知识的积累。在医学上，病情分析是一个费时费力的工作，需要有丰富的临床经验让医生根据病人现在表现出来的症状、医学图像和生理信息给出最为切合的诊断。病情分析的一种技术方案是让计算机基于机器学习技术学习大量医生的正确的临床判断，根据以往的经验给病人一个具有针对性的治疗方案。目前，这种技术方案在一些慢性疾病(如慢性肾病)和神经退化性疾病(如帕金森综合症和阿尔兹海默症)上得到了初步应用，已有的方法将病人的医学影像输入到深度神经网络中，以给出病人的病情。

如申请号为CN202110454797.2的中国申请专利公开了一种病情演变分类方法、装置、电子设备和存储介质，该发明提供的技术方案通过对患者的时序治疗数据分阶段分析，将文本就诊数据进行编码拼接，通过注意力机制融合从而预测患者的病情。但是该方案缺少对患者医疗信息的深度挖掘，正确率不高，可能对患者的病情误判。

此外，目前还存在一些针对特殊病种的病情分析方法。例如，首先将患者的医疗信息通过主成分分析得到主成分，然后通过多个全连接层做出决策，分析患者的病情并给出相对的治疗方案。

现有技术的缺点主要体现在两个方面：

1.准确率较低：现有方法一般使用单模态信息进行病情分类，如视觉(医疗影像数据)或文本(主诉、病历等)，没有充分利用和挖掘医疗场景下的多模态医疗信息，因此准确率较低。

2.无法实时更新：现有方法中使用的方法或模型都是固定的，无法根据更新的病例数进行实时更新，以提升方法的准确性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态临床诊疗数据的病情分析系统。本发明通过采集患者在就诊时提供的医疗信息，包括文本信息、医学影像和视频，将这些医疗信息通过深度神经网络融合，经过决策得到该患者的病情分析报告和治疗方案。

本发明的目的可以通过以下技术方案来实现：

一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；

所述病历信息提取单元用于提取患者的医疗信息；

所述视频采集单元用于采集患者就诊视频；

所述影像数据采集单元用于采集患者影像数据；

所述特征提取单元基于所述医疗信息、就诊视频及影像数据，提取多模态数据特征；

所述多模态融合单元用于将所述多模态数据特征进行融合，得到多模态融合特征；

所述病情分类单元基于所述多模态融合特征，输出病情分类；

所述在线学习单元基于所述医疗信息、就诊视频及影像数据，更新深度卷积网络模型参数，实现模型的在线学习。