[发明专利]一种数据型问答系统

权利要求书

1.一种数据型问答系统，问答系统技术理论方法为流水线方法，在流水线QA系统，需要选择一个段落并将其传递给段落级问答模型，其包含了获取原始问题、得到待选回答组、计算参考回答与待选回答组中各个待回答的相似度，输出最大相似度对应的待选回答，其特征在于：所述数据型问答系统包含了：

输出问题答案基于多个支持文档；

待选回答组对应支持文档；

对比输出问题支持文档和待选回答组对应支撑文档；

计算输出问题支持文档和待选回答组对应支撑文档的相似度，输出最大相似度对应的待选回答；

段落级问答模型其核心部分为

A.Embedding：使用预训练的词向量嵌入单词，并通过使用学习的嵌入矩阵嵌入字符，然后应用卷积神经网络和最大池化，将这些与字符派生的词嵌入相结合；

B.Pre-Process：这里使用了共享的双向GRU(Bi-GRU)来处理问题与文章的嵌入；

C.Attention：通过使用双向注意流(Bi-Directional Attention Flow，BiDAF)的Attention机制来构建语言的上下文表示；

a_ij＝w₁·h_i+w₂·q_j+w₃(h_i⊙q_j)

i，j：答案范围内的单词i和问题里的单词j；

h_i，q_j：段落单词i的词向量和问题单词j的词向量；

n_c：答案范围的上下文长度；

w₁、w₂和w₃：学习向量，⊙是元素乘法；

q_c：上下文查询向量；

每个标签的最终向量是通过连接得到的，并通过一个带有ReLU激活的线性层传递结果；

D.Self-Attention：输入通过另一个双向GRU(Bi-GRU),应用相同的Attention机制，不过这里没有q_c了，而是设置a_ij＝inf if i＝j；

E.Prediction：在模型的最后一层，应用了双向GRU，然后通过线性层计算出每个开始标记的答案分数，

将隐藏状态与输入相结合，再通过另一个双向GRU和线性层计算出每个结束标记的答案分数，这里应用到了softmax函数，来计算开始或结束的概率；

还包含置信度模型：

模型置信度的基准度量，是每个可能的答案区间的非标准化分数和未被指数化分数，这里使用的是基于边界的模型，具有开始标签和结束标签，每个答案区间的分数是开始分数和结束分数之和；

为避免模型在启发式模式下产生的过度自信，这里尝试了4种模型训练方法，并都会将不包含答案的段落作为额外的训练点进行抽样；

(1)Shared-Normalization

使用了一个修改的目标函数，其中从相同上下文中采样的所有段落的起始和结束分数都被标准化，目的是迫使模型产生段落之间具有可比性的分数；

(2)合并

在训练期间将从同一上下文中采样的所有段落连接在一起，并在每个段落之前添加具有学习嵌入的段落分隔符标记；

(3)No-Answer选项

允许模型为每个段落选择一个特殊的无应答选项；

这里重新改写了目标函数，

s_i，g_j：模型为标记i、j生成的起始和结束边界的分数

a,b：正确的开始和结束标记

最后通过在模型末尾添加一个额外的层来计算另一个得分z，首先通过获取用于预测由开始或结束概率加权的开始或结束标记分数的RNN的总和隐藏状态，并在自我关注层的输出上使用学习的关注向量来构建输入向量，最后将这些矢量送到具有80维隐藏层的两层网络和ReLU激活，结果z就是其唯一输出；

(4)Sigmoid

考虑具有S形损失目标函数的训练模型，通过将sigmoid函数应用于每个标记的开始或结束分数来计算每个标记的开始或结束概率，交叉熵损失用于每个单独的概率。