[发明专利]一种基于深度学习的增强型自动医疗诊断对话系统

权利要求书

1.一种基于深度学习的增强型自动医疗诊断对话系统，其特征在于，所述系统包括数据预处理模块、神经网络模块和词汇级融合模块；其中：

所述数据预处理模块用于对待处理的医疗对话数据进行预处理，获得预处理结果；

从预处理结果中查找出待处理医疗对话数据的每个词对应的嵌入向量；

所述神经网络模块用于根据待处理数据中每个词对应的嵌入向量和位置编码，生成待处理医疗对话数据的N×S个文字序列；

所述词汇级融合模块用于对神经网络模块生成的文字序列进行融合，将融合结果作为对话输出。

2.根据权利要求1所述的一种基于深度学习的增强型自动医疗诊断对话系统，其特征在于，所述神经网络模块由N个解码器块和一个softmax层组成，其中，每个解码器块均包括一个掩码多头自注意力层、一个归一化层和一个前馈神经网络层，将最后一个解码器块的输出作为softmax层的输入。

3.根据权利要求2所述的一种基于深度学习的增强型自动医疗诊断对话系统，其特征在于，所述神经网络模块的训练过程为：

步骤一、获取医疗对话语料数据，再对获取的语料数据进行预处理；其中，预处理的具体过程为：

步骤一一、对获取的语料数据进行数据清洗，

步骤一二、将数据清洗后的不同类型语句数据描述到统一框架下；

步骤一三、对处于同一个对话中的不同语句进行语义整合，将整合得到的嵌入矩阵作为当前对话的语义特征；

同理，分别得到每个对话的语义特征；

步骤二、设置优化器为AdamW优化算法，设置训练的轮次epoch为10，训练batch size为4，学习率为1.5e-4；

步骤三、在获取的医疗对话语料数据中，对于每个对话中的每个句子，均将其处理成[CLS]话语1[SEP]话语2[SEP]话语3[SEP]的形式，计算每一批训练数据中输入样本的最大长度，并对小于最大长度的输入样本进行补全，以获得处理后的训练数据；

步骤四、从嵌入矩阵中查找训练数据的每个词对应的嵌入向量，神经网络模块的第一个解码器块的输入是训练数据中每个词对应的嵌入向量与位置编码的相加结果；

将最后一个解码器块的输出与嵌入矩阵相乘，得到词汇表中每个单词对应的注意力得分，将注意力得分作为概率从单词列表中进行抽样；

步骤五、将抽样结果添加到对应语句的末尾，再将添加结果重新输入回神经网络模块的第一个解码器块，直至达到文字序列长度上限或产生文字序列终止符时停止返回，得到生成的文字序列。

4.根据权利要求3所述的一种基于深度学习的增强型自动医疗诊断对话系统，其特征在于，所述医疗对话语料数据是从互联网上爬取的。

5.根据权利要求4所述的一种基于深度学习的增强型自动医疗诊断对话系统，其特征在于，所述数据清洗的方式包括去除不需要的字段、填充缺失内容和统一格式操作。

6.根据权利要求5所述的一种基于深度学习的增强型自动医疗诊断对话系统，其特征在于，所述词汇级融合模块的工作过程为：

将待处理医疗对话数据的N×S个文字序列分为S个部分，每个部分包括N个对话假设；

对于任意的一个部分，选取出该部分中的一个对话假设作为对齐参考假设后，将该部分中的其它对话假设对齐到该参考假设上，通过对话假设间的词对齐信息建立混淆网络，并计算混淆网络中每两个节点间弧线上的候选词的置信度；

依次选取该部分中的其它对话假设作为对齐参考假设时，分别建立对应的混淆网络，并计算混淆网络中每两个节点间弧线上的候选词的置信度；

对于其它各部分同理；

根据候选词的置信度从起始节点到终结节点之间搜索一条最优路径，将最优路径上的候选词连接起来作为对话输出。

7.根据权利要求6所述的一种基于深度学习的增强型自动医疗诊断对话系统，其特征在于，所述置信度的计算方法为：

其中，w_i,j代表混淆网络节点i和i+1弧线上的候选词中第j个候选词的置信度，u＝1,2,…,S，λ_u是第u个部分对应的先验概率，v＝1,2,…,N，λ_v是候选词所在对话假设的权重，μ为归一化因子，c_w是第u个部分第v个对话假设中的词。