[发明专利]一种基于机器阅读理解的智能交互导诊咨询系统

权利要求书

1.一种基于机器阅读理解的智能交互导诊咨询系统，其特征在于，包括自然语言理解模块、阅读理解模块和对话管理模块；

所述自然语言理解模块，分析用户输入的自然语言语句，判断语句的意图，并且抽取语句中的关键信息；

所述阅读理解模块，根据自然语言理解模块抽取的关键信息，判断用户应该选择的科室；

所述对话管理模块，管理对话流程，生成系统回答语句，引导用户导诊；

所述对话管理模块，具体包括：

定义意图和动作：基于当前对话状态和意图、实体选取下一步采取的行动；

定义解释器：包括执行自然语言理解模块和把消息转化为格式化信息；

数据准备：设计长短期记忆网络对话模型；

模型训练：得到对话模型；

根据对话模型进行对话管理；

所述的模型训练：得到对话模型，具体如下：

采用监督学习的训练方式，用长短期记忆网络模型训练对话模型，具体为：

首先预训练词向量，单词w的表示由词向量和字向量拼接而成，然后经过两层高速公路网络得到d维度的向量，语境词集合X∈R^d*T和问题词集合Q∈R^d*J，R^d*T代表一个d*T的矩阵，R^d*J表示一个d*J的矩阵，T为语境中的单词数，J为问题中的单词数；使用长短期记忆网络即LSTM来模拟单词之间的时间交互，在两个方向上放置一个LSTM，并连接两个LSTM的输出，从上下文字向量X获得H∈R^2d*T，并且从查询字向量Q获得U∈R^2d*T；

计算各自单词间的局部关系，相似度计算方式是：

其中一个可训练的重量矢量，S_tj为第t个语境词context word和第j个查询词queryword之间的相似度；α为标量函数，H_:t为H的第t个列向量，U_:j为U的第j个列向量，为点乘，[；]表示向量在行上的拼接，h,u指H_:t,U_:j；

然后计算双向注意力

计算context-to-query attention即C2Q上下文注意力：对于语境中的第t个单词，计算查询中的每个单词与该词的相关度，根据前面得到的相关性矩阵，使用归一化指数函数softmax()对列归一化，然后计算查询向量加权和得到语境词的新表示

a_t＝softmax(S_t:)

其中a_t为j维向量，表示第t个上下文词对查询词的注意权重，S_t:表示S的第t个行向量，a_tj代表a_t的第j个元素；

计算query-to-context attention即Q2C上下文注意力：计算对于查询中的词，语境中的每个词与它的相关度；首先取相关性矩阵每列最大值，对进行softmax归一化指数b＝softmax(max_col(S))

其中sofrmax()为归一化函数，max_col()函数为在列上执行最大函数，H_:t为H的第t个列向量；b为语境词的注意力权重；的向量表示相对于查询的上下文最重要单词的加权和；对进行T次计算得到即查询词的新表示，然后将拼接成G：

将上下文嵌入和注意力向量合并到了G之中，G的每一列就是对上下文的每一个词的问题-察觉表达，β是一个可训练的函数，为点乘；

然后为建模层，输入是G，再经过一次长短期记忆网络LSTM得到M，捕捉的是以查询为条件的上下文单词之间的关系，M的一列代表的是融入了查询后的语境中一个词的上下文表示；

预测开始位置p1和结束位置p2

其中为可训练的权重向量，M为传递到输出层以预测答案的矩阵，M再经过一个长短期记忆网络LSTM得到M²∈R^2d*T，R^2d*T为2d*T的矩阵，通过训练得到训练权重的值；

首先定义损失函数L(θ)

其中Θ是模型中所有可训练权重的集合和N为数据集中示例个数，和是数据集第i个示例中正确的开始和结束的索引，采用梯度下降方法得到使损失函数值最小的权重Θ的值，带入模型用来得到结束位置的概率分布。