[发明专利]一种基于注意力机制的医疗实体向量转化方法

说明书

本发明提供一种基于注意力机制的医疗实体向量转化方法，建立MedE2vec模型，具体包括以下步骤：患者整个医疗过程的电子病历包括时间分布零散的多次诊疗事件Event，单次的诊疗事件Event由患者的多个医疗实体Entity组成；输入患者的一次临床诊疗的所有医疗实体，由初始化向量矩阵W将其初始化为向量表示的诊疗序列；捕获患者诊疗事件序列V内部的医疗实体之间的关系即注意力机制；捕获患者不同诊疗事件间的关系：经过迭代训练得到向量矩阵W，W中的第i行即表示医疗实体集合中的向量；通过损失函数不断优化向量矩阵W，来得到最终的医疗实体向量。本发明是一个基于注意力机制的深度学习模型；MedE2vec可以生成更加精确的医疗实体向量。

技术领域

本发明属于计算机领域，具体涉及一种基于注意力机制的医疗实体向量转化方法。

背景技术

语言概念词向量转化是将数据中的信息抽取出来的重要方法，尤其是对于那些非结构化文本数据。只有准确地将医疗文本描述转化为数字信息，也就是概念向量，才能使用复杂的机器学习和深度学习模型对其进行分析。虽然现在已经有一些成熟的文本-向量转化工具，但是专门适用于医学数据的很少，而且大多数不能抓住医疗信息中的时序信息，因此效果都不理想。

随着电子病历的普及，电子病历系统累积的数据也在不断增加，这使得我们使用基于大数据的机器学习方法和深度学习方法从数据中挖掘有价值的信息成为可能。电子病历中存储着大量医生书写的描述性信息，而非普通文本，我们需要将这些复杂的非结构化文本信息转化为数值信息，才能对其有效利用，挖掘出潜在的医疗规律。因此，转化后数值信息质量的高低直接决定了我们能否从这些数据中挖掘出足够的规律，进而辅助临床实践。

近些年来，机器学习和深度学习在医疗领域的应用越来越多，比如，疾病预测，患者分类，住院时间预测，再入院风险预测和死亡预测等。然而，医疗数据有一些自身的特点，例如患者的一次诊疗中包含了多个医疗实体，包括诊断、检查、用药和手术等，这些医疗实体往往构成了无序的信息集合；但是患者前后几次诊疗的间隔时间，可能是几天也可能是几个月，因此同一个患者的前后几次诊疗是有时序信息的；患者的多个医疗实体构成了患者一次诊疗序列，而多次诊疗序列又可以展现患者病情和身体状况的发展趋势。通常可以通过患者在之前多次诊疗中出现的诊断、症状和服药等信息，推断患者疾病的发展趋势和身体的健康状况变化。但是，通常的数据挖掘模型处理的大部分数据都是不包含时序信息的结构化数据，对于含有时间信息的非结构化数据处理的就更少。

针对非结构化数据空间向量转化的问题，之前的研究者提出了一些解决方案，比如google在2013年提出了Word2vec模型，这个模型采用CBOW和Skip-gram两种方式，在无监督的情况下可以将文本数据转化为空间词向量[7]。Word2vec只是利用了上下文单词向量之和来生成中心词的向量或者中心词来生成上下文单词向量，所以这是一个针对通用常识文本的词向量模型，并没有对医疗领域的特殊场景来设计，也没有考虑词语的时序关系。Choi等在2016年提出了Med2vec模型，这是一个专门为医疗实体设计的模型。Med2vec也仅仅使用了类似Skip-gram的结构，同样没有很好的捕获医疗实体间的时序关系，所以转化出的向量准确性还有待提高。因此，这两个语言概念转化模型都不能准确的表达医疗场景下各个医疗实体间的关系。

在目前常用的深度学习模型中，递归神经网络(RNN)和卷积神经网络(CNN)有不错的特征提取能力，之前一直被研究人员广泛应用于文本和图像的特征提取中。例如，RNN中的长短记忆神经网络(LSTM)常被用在类似生成词向量的特征提取任务中来。但是LSTM多个隐藏层的神经元值需要一层一层传递，不能大规模的并行运算，所以降低了它的计算性能。CNN通常被用来做图像的分类和识别等任务，由于其可以通过卷积和池化策略达到提取特征的目的，近些年来也被用到了自然语言处理任务中来。CNN虽然可以做并行计算，但是不可以捕获自然语言处理任务中长距离的特征关系，例如，在机器翻译中，CNN只能捕获与要翻译的词距离相近的词之间的关系，不能得到距离更远的词对它的影响，从而造成翻译不准确的问题。