[发明专利]一个基于记忆神经网络的对话式信息检索的方法

权利要求书

1.一种基于记忆神经网络的对话式信息检索的方法，其特征在于，通过建立检索模型，所述检索模型包括用户总体查询意图建模、当前查询特定意图建模和统计特征引入，所述用户总体查询意图建模利用用户的历史查询和历史点击信息建模会话内用户的整体查询意图，所述当前查询特定意图建模通过对当前查询词分析，找到最能表示当前特定查询意图的查询词来与文档进行交互，所述统计特征引入用于直接地衡量候选文档与整个查询序列的关系；

所述用户总体查询意图建模的具体方式为，首先对查询与文档语句进行表示，查询q＝{w₁,w₂,…,w_l}，其中w_t表示查询中的第t个词，使用graph embedding的方式得到对应词向量表示x_t，所述graph embedding构建图时将处于同一查询以及同一文档中的词之间连成边，每个词作为一个结点，使用双向LSTM处理词向量矩阵，得到每个词对应的隐含层向量表示由前向LSTM与后向LSTM模型得到的隐含层向量拼接而成，每个方向LSTM隐含层的向量通过遗忘门、输入门、输出门三个门进行控制，它的计算过程如下：

其中的tanh()和σ()是激活函数，公式中的所有W矩阵和向量都是待训练的参数，表示t时刻的输出门向量，表示t时刻的上下文向量，表示t时刻的输入门向量，表示t时刻的遗忘门向量，由此得到查询q中每个词的隐含层表示H_q＝{h₁,h₂,…,h_l}；所述l为正整数，

随后使用注意力机制将隐含层向量连接起来，得到查询q的表示向量r_q:

其中，A＝Softmax(v^TH_qW_a),A＝[α₁,α₂,…,α_l]

所有历史查询的表示所有历史点击文档的表示其中n_i表示第i个查询对应的点击文档数量，表示第k个查询对应的第i个点击文档，所述当前查询的表示以及候选文档表示在对所有查询进行编码时使用的双向LSTM模型参数相同，并且对所有文档进行编码时使用的双向LSTM模型参数也相同；

对同一历史查询对应的所有的历史点击文档表示求均值，得到key-value记忆神经网络中存储的值矩阵V：

V＝[v₁,v₂,…v_t-1]，

其中所述k为正整数，对应的键值矩阵K为历史查询的表示选取与当前查询语义更相近的历史查询，读取相应键值的记忆单元，将这些记忆单元通过加权合得到总体的记忆向量表示r_m:

最后将得到的记忆向量表示与候选文档表示向量进行交互，衡量候选文档与用户总体查询意图的相似程度为所述W₁表示待训练的参数。

2.如权利要求1所述的方法，其特征在于，所述当前查询特定意图建模的具体方式为，为每个查询词引入了权重a^new衡量对应词汇的新鲜度，计算方式如下：

其中X_h表示历史查询中出现过的所有词的词向量，所述W₂为参数，为历史查询中出现的第i个词，X_h为历史查询中出现的所有词的集合，x_t表示当前查询中的第t个词；

然后计算当前查询与候选文档的相关度，对二者词向量矩阵进行交互得到相似度矩阵M：

所述W₃为待训练的参数，为当前查询中第i个词的表示，为候选文档中第j个词的表示；

随后使用多个高斯核来统计不同分布下词向量的相似程度，得到k维匹配特征

其中所述μ_k和分别表示第k个高斯核的均值和方差，将得到的k维匹配特征通过全连接层，得到当前查询与候选文档的相似度所述W₃和b均为待训练的参数。

3.如权利要求2所述的方法，其特征在于，所述统计特征引入为引入了114维统计特征，将这114维特征通过多层感知机，得到1维匹配特征f₃，其中57维特征是衡量整篇候选文档与用户查询序列的关系，另外57维特征是衡量候选文档第一句话与用户查询序列的关系；最后将所述特征f₁、f₂、f₃通过全连接层得到最终的匹配分数。