[发明专利]一种基于深度学习的增强型自动医疗诊断对话系统

说明书

一种基于深度学习的增强型自动医疗诊断对话系统，它属于自然语言处理与深度学习相结合的学科交叉领域。本发明解决了由于现有系统对医疗词汇、医疗问题不敏感，导致采用现有系统输出诊断结果的准确率低的问题。本发明通过使用医疗类的数据集对模型进行预训练、微调，使模型能够对医疗类对话进行更加有效的建模，同时通过词汇级系统融合对于多系统的结果进行重排序以增强原有的对话结果。对用户提出的问题，能够更好地捕捉到相关信息，然后做出相应回答，有利于提高输出诊断结果的准确率。本发明可以应用于自动医疗诊断对话。

技术领域

本发明属于自然语言处理与深度学习相结合的学科交叉领域，具体涉及一种基于深度学习的增强型自动医疗诊断对话系统。

背景技术

深度学习是学习数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大帮助。多隐层的深度神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画。深度神经网络强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习在数据挖掘、自然语言处理和计算机视觉等相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

对话系统已经越来越引起人们的注意，人机对话因其巨大的潜力，诱人的商业价值而备受关注。对话系统的最新进展绝大多数都用到了深度学习技术。对于对话系统，深度学习技术可以通过利用大规模数据来学习有意义的特征表示和生成回复策略，同时只需要极少量的手工特征。随着大数据和深度学习技术的发展，创建一个自动人机对话系统作为我们的个人助理或聊天伴侣不再是一种幻想。一方面，我们可以很容易地获取互联网上的对话“大数据”，这使我们可以建立数据驱动的，开放域的人机对话系统。另一方面，深度学习技术已经被证明在识别大数据中的复杂模式上是有效的，并且已经驱动了许多领域的研究工作，如计算机视觉、自然语言处理和推荐系统。基于深度学习的对话系统使用海量社交对话数据，通过检索或者生成的方法建立对话模型学习对话模式。

随着近些年医疗信息化的大力发展，医疗大数据得到了爆发式增长。基于医疗数据和机器学习技术学习医生的诊疗行为，给出诊断和治疗建议，辅助医生进行临床决策一直是医疗人工智能的热点方向。但目前大部分产品对医疗词汇、医疗问题并不敏感，即使识别到了医疗问题，给出的诊断结果也非常简单，给出的诊断结果的准确率也有待进一步提高。

综上所述，由于现有系统对医疗词汇、医疗问题不敏感，导致采用现有系统输出的诊断结果的准确率较低。

发明内容

本发明的目的是为解决由于现有系统对医疗词汇、医疗问题不敏感，导致采用现有系统输出诊断结果的准确率低的问题，而提出一种基于深度学习的增强型自动医疗诊断对话系统。

本发明为解决上述技术问题所采取的技术方案是：

一种基于深度学习的增强型自动医疗诊断对话系统，所述系统包括数据预处理模块、神经网络模块和词汇级融合模块；其中：

所述数据预处理模块用于对待处理的医疗对话数据进行预处理，获得预处理结果；

从预处理结果中查找出待处理医疗对话数据的每个词对应的嵌入向量；

所述神经网络模块用于根据待处理数据中每个词对应的嵌入向量和位置编码，生成待处理医疗对话数据的N×S个文字序列；

所述词汇级融合模块用于对神经网络模块生成的文字序列进行融合，将融合结果作为对话输出。

进一步地，所述神经网络模块由N个解码器块和一个softmax层组成，其中，每个解码器块均包括一个掩码多头自注意力层、一个归一化层和一个前馈神经网络层，将最后一个解码器块的输出作为softmax层的输入。

进一步地，所述神经网络模块的训练过程为：