[发明专利]一种医学数据处理方法、系统、设备及介质

权利要求书

1.一种医学数据处理方法，其特征在于，包括：

获取医学数据，所述医学数据包括用户的影像数据与文本数据；

分别提取所述文本数据与影像数据，对应得到文本特征向量与图像特征向量；其中，将所述文本数据进行预处理，利用第一特征提取模型提取预处理后所述文本数据的文本特征向量，所述第一特征提取模型利用训练集每个字符的字向量输入结合双向长短期记忆网络-条件随机场BiLSTM-CRF和注意力机制训练得到；在BiLSTM层，获取所述字向量的双向特征向量；在注意力机制层，将表示所述字向量顺序的位置向量和所述双向特征向量进行拼接，并利用分配权重系数得到文本特征向量；

将所述影像数据进行预处理，采用多尺度卷积核提取预处理后的所述影像数据，将提取的多尺度特征融合得到具有广度特性的图像特征向量，所述图像特征向量与文本特征向量通过医学概念层级相关联；其中，采用多尺度思想训练广度卷积神经网络，利用广度卷积神经网络提取所述影像数据的多尺度特征，其对应的损失函数采用了结合中心损失函数和Softmax损失函数；其对应的表达式为：

Loss＝SoftmaxLoss+λCentorLoss

式中，结合后对应的损失函数为Loss，Softmax损失函数为SoftmaxLoss，中心损失函数为CentorLoss，λ表示系数大小；

构建医学概念的知识图谱，根据抽取的文本特征向量与实体特征向量的各个实体的属性与关系，按照所述知识图谱的实体-关系-属性，对所述文本特征向量与实体特征向量进行融合，将融合后的特征输入多层感知机，通过反向传播对融合后的特征进行优化，得到融合特征向量；

将所述融合特征向量输入多模态深度学习模型进行处理，得到处理的分类结果。

2.根据权利要求1所述的医学数据处理方法，其特征在于，还包括：

所述广度卷积神经网络包括具有多尺度的卷积核，每个通道对应一种尺度的卷积层，第一连接层、第二连接层、第一最大池化层、第二最大池化层、第一全连接层、第二全连接层与输出层；其中，当卷积层为两层且输入通道为三个时，输入的影像数据从第一层卷积层依次通过第一连接层和第一最大池化层输出第一多尺度特征图；所述第一多尺度特征图通过相同结构通道的第二层卷积层第二连接层和第二最大池化层输出第二多尺度特征图；所述第二多尺度特征图依次第一全连接层、第二全连接层输出多尺度特征，利用Softmax分类器输出分类结果。

3.根据权利要求1所述的医学数据处理方法，其特征在于，还包括：利用长短期记忆网络模型和随机场算法模型生成识别模型；利用所述识别模型识别医学数据中的实体数据和实体关系数据；根据所述识别模型识别到的所述实体数据和所述实体关系数据，构建医学概念的知识图谱。

4.根据权利要求1所述的医学数据处理方法，其特征在于，还包括：通过导航处理影像数据与文本数据得到导航轨迹，结合所述导航轨迹与所述融合特征向量训练卷积神经网络得到多模态深度学习模型，利用训练好的多模态深度学习模型得到分类结果。

5.根据权利要求1所述的医学数据处理方法，其特征在于，还包括：

根据用户分类结果所对应相关疾病的患病概率确定所述相关疾病的风险程度，并根据所述相关疾病的风险程度对用户和/或家庭医生进行预警；

根据所述相关疾病的患病概率以及所述相关疾病关联的干预措施生成干预方案。