[发明专利]一种基于多模态临床诊疗数据的病情分析系统

权利要求书

1.一种基于多模态临床诊疗数据的病情分析系统，其特征在于，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；

所述病历信息提取单元用于提取患者的医疗信息；

所述视频采集单元用于采集患者就诊视频；

所述影像数据采集单元用于采集患者影像数据；

所述特征提取单元基于所述医疗信息、就诊视频及影像数据，提取多模态数据特征；

所述多模态融合单元用于将所述多模态数据特征进行融合，得到多模态融合特征；

所述病情分类单元基于所述多模态融合特征，输出病情分类；

所述在线学习单元基于所述医疗信息、就诊视频及影像数据，更新深度卷积网络模型参数，实现模型的在线学习。

2.根据权利要求1所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述特征提取单元包括医疗信息特征提取子单元、视频特征提取子单元及医学影像模态特征提取子单元；

所述多模态数据特征包括文本模态特征、视频模态特征及医学影像模态特征；

所述医疗信息特征提取子单元基于医疗信息提取文本模态特征；

所述视频特征提取子单元基于就诊视频提取视频模态特征；

所述医学影像模态特征提取子单元基于影响数据提取医学影像模态特征。

3.根据权利要求2所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述视频特征提取子单元针对就诊视频，采用OpenFace提取视频中患者的面部特征，将逐帧画面作为输入，得到视频模态特征。

4.根据权利要求1所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述多模态融合单元将多模态数据特征输入LSTM网络，得到多模态融合特征。

5.根据权利要求1所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述病情分类单元将所述多模态融合特征输入深度卷积网络的全连接层，得到病情分类。

6.根据权利要求2所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述文本模态特征的提取包括以下步骤：

对所述医疗信息进行数据清洗，得到清洗后的文本信息；

将所述清洗后的文本信息输入Bert预训练模型，得到文本模态特征。

7.根据权利要求2所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述视频模态特征的提取包括以下步骤：

从视频中提取患者就诊画面；

基于所述患者就诊画面，提取患者表情和神态的关键帧画面；

将所述关键帧画面输入OpenFace模型及VGG Face模型，得到视频模态特征。