[发明专利]一种基于动态路由机制的机器阅读理解网络模型的建立方法、方法、存储介质及终端

权利要求书

1.一种基于动态路由机制的机器阅读理解网络模型的建立方法，其特征在于：它包括：

基础编码层：用于完成对输入文本段落和问题序列的交互匹配式编码，并最终以向量序列的形式输出对输入信息的编码；所述基础编码层包括BiDAF和BERT，其中，BiDAF是一个分阶段的多层过程，其由字符嵌入层、词嵌入层、上下文嵌入层、注意力流层、建模层和输出层构成；BERT通过将TokenEmbedings，SegmentEmbedings，PositionEmbedings三个向量组加和得到每个词的嵌入向量，BERT将文本段落和问题序列映射为TokenEmbedings后用[SEP]分隔符分开作为输入；

路由解码层：用于接收来自所述基础编码层的向量序列，经过多层动态路由层解码映射成高级语义特征向量并进行适应性的轻微重编码后输出；所述路由解码层包括由多个动态路由层以级联的方式堆叠而成，每个动态路由层包括由一层胶囊网络层和一层双向LSTM层组成；

所述胶囊网络层接收来自所述基础编码层的向量序列，并将这些携带问题序列和段落交互信息的编码向量解码映射成高级语义特征向量；所述双向LSTM层在阅读理解所述高级语义特征向量的基础上对所述高级语义特征向量进行适应性的轻微重编码；

输出层：将所述动态路由层输出的高级语义特征向量经过处理得到答案并输出。

2.一种基于动态路由机制的机器阅读理解方法，其特征在于：所述方法包括以下内容：

路由解码层中最底层的胶囊网络层接收来自基础编码层的向量序列，经过多层动态路由层解码映射成高级语义特征向量并进行适应性的轻微重编码后输出，所述路由解码层包括由多个动态路由层以级联的方式堆叠而成，每个动态路由层包括由一层胶囊网络层和一层双向LSTM层组成；所述胶囊网络层接收来自所述基础编码层的向量序列并将这些携带问题序列和段落交互信息的编码向量解码映射成高级语义特征向量；

所述胶囊网络层将携带问题序列和段落交互信息的编码向量解码映射成高级语义特征向量的具体步骤如下：

将经过编码后的向量u_i进行仿射变换，得到仿射变换后的结果对进行r次迭代并计算每次迭代过程中表示上一层胶囊层的第i个输入与下一层胶囊层的第j个输出之间连接的耦合系数c_ij；

计算中间变量S_j，通过压缩函数squash()得到压缩后的输出v_j；

双向LSTM层在阅读理解所有高级语义特征向量的基础上对高级语义特征向量进行适应性的轻微重编码；所述双向LSTM层在阅读理解所有高级语义特征向量的基础上对高级语义特征向量进行适应性的轻微重编码的具体步骤如下：

通过前向LSTM层获取上文的高级语义特征向量；

通过后向LSTM层获取下文的高级语义特征向量；

将前向和后向的高级语义特征向量进行拼接得到重编码后的向量；

重复步骤二和步骤三直到所有高级语义特征向量被映射提取以及轻微重编码后输入到输出层；

还包括输入文本段落和问题序列到基础编码层进行交互匹配式编码并输出编码后的向量序列到所述胶囊网络层的步骤；

还包括输出层对路由解码层的输出经过处理后输出答案的起始位置和结束位置的步骤。

3.一种存储介质，其内部存储有计算机程序指令，其特征在于：所述计算机程序指令运行时执行权利要求2所述的一种基于动态路由机制的机器阅读理解方法的步骤。

4.一种终端，包括存储器和处理器，所述存储器上存储有可以在所述处理器上运行的计算机程序指令，其特征在于：所述处理器运行所述计算机程序指令时执行权利要求2所述的一种基于动态路由机制的机器阅读理解方法的步骤。