[发明专利]一种少样本机器阅读理解方法、系统、设备及存储介质

权利要求书

1.一种少样本机器阅读理解方法，其特征在于，包括：

训练阶段，将包含问题文本、带掩码的提示模板伪token和上下文文本的训练文本通过提示模板编码器，获得带有连续提示模板的输入数据；将所述输入数据输入至包含双向编码器与自回归解码器的双向自回归语言模型，通过所述双向编码器对所述输入数据进行编码，利用给定的期望输出的答案构造所述自回归解码器输入信息，通过自回归解码器的自注意力机制进行处理后，采用交互注意力机制与所述双向编码器的输出进行交互，获得解码向量；利用所述解码向量计算各个生成词的概率分布，并构建损失函数对所述提示模板编码器与双向自回归语言模型进行训练；

预测阶段，将给定的包含问题文本、带掩码的提示模板伪token和上下文文本的输入文本，依次通过提示模板编码器以及双向自回归语言模型，获得答案文本；

所述包含问题文本、带掩码的提示模板伪token和上下文文本的训练文本表示为：

Input＝Question：x_q；p₁，...，p_n：[mask]；Context：x_c

其中，Question表示问题，x_q表示问题文本；p₁，...，p_n表示随机产生的提示模板伪token，n表示token的数目，token表示词标记；[mask]为掩码符号；Context表示上下文，x_c表示上下文文本；

所述训练文本通过提示模板编码器，获得带有连续提示模板的输入数据包括：

先将训练文本经过tokenizer得到全部的token，再输入至嵌入层，得到初始词嵌入向量Emb_raw：

Emb_raw＝Emb_raw[0：s]；Emb_raw[s：e]；Emb_raw[e：]

其中，s表示伪token的起始位置，token表示词标记，e表示伪token结束位置；Emb_raw[0：s]表示问题文本的初始词嵌入向量，Emb_raw[s：e]表示带掩码的提示模板伪token的初始词嵌入向量，Emb_raw[e：]表示上下文文本的初始词嵌入向量；

将带掩码的提示模板伪token的初始词嵌入向量Emb_raw[s：e]输入至提示模板编码器，获得新的词嵌入向量Emb_new[s：e]：

Emb_new[s：e]＝P_Encoder(Emb_raw[s：e])

其中，P_Encoder表示提示模板编码器；

利用新的词嵌入向量Emb_new[s：e]替换初始词嵌入向量Emb_raw中的Emb_raw[s：e]，获得的词嵌入向量Emb_new即为获得带有连续提示模板的输入数据：

Emb_new＝Emb_raw[0：s]；Emb_new[s：e]；Emb_raw[e：]；

所述利用给定的期望输出的答案构造所述自回归解码器输入信息，通过自回归解码器的自注意力机制进行处理后，采用交互注意力机制与所述双向编码器的输出进行交互，获得解码向量包括：

将自回归解码器的期望输出y表示为：

y＝Question：x_q；p₁，...，p_n：y_a

其中，Question表示问题，x_q表示问题文本；p₁，...，p_n表示提示模板伪token，y_a表示给定的期望输出的答案；

将y右移一位并在第一位补充一个开始符号＜sos＞后，记为y’，y’对应的词嵌入向量Emb_D表示为：

Emb_D＝Emb_＜sos＞；Emb_new[0：s_m]；Emb_ya

其中，Emb_＜sos＞为开始符号＜sos＞对应的词嵌入向量，s_m为带掩码的提示模板伪token中掩码符号[mask]所在的位置，Emb_new[0：s_m]为输入数据Emb_new中包含问题文本部分Question：x_q与带掩码的提示模板伪token从第1个token到s_m位置处的词嵌入向量，Emb_ya为y_a对应的词嵌入向量；

将y′对应的词嵌入向量Emb_D通过自注意力机制处理为向量Y，再结合双向编码器输出的编码向量H通过交互注意力机制进行处理，最终得到解码向量H_D。