[发明专利]一种问答任务的下游任务处理方法及模型

权利要求书

1.一种问答任务的下游任务处理方法，其特征在于，包括如下步骤：

S1、将问题与上下文输入预训练语言模块，获取上下文的语言关联特征；

S2、利用双向注意力机制基于上下文的语言关联特征得到关键信息感知的上下文表示H_CKey以及关键信息感知的问题表示H_QKey；

S3、利用双向注意力流基于关键信息感知的上下文表示H_CKey以及关键信息感知的问题表示H_QKey，得到问题感知的上下文表示G；

S4、利用门机制基于问题感知的上下文表示G计算更新向量z和记忆权重g，利用更新向量z和记忆权重g更新问题感知的上下文表示G得到输出向量G_g；

S5、利用粒计算基于上下文的语言关联特征生成上下文粒度向量G_C及序列粒度向量G_CLS，基于上下文粒度向量G_C、序列粒度向量G_CLS及输出向量G_g生成多角度理解上下文以及上下文总体与局部的关系的输出向量C_out；

S6、将基于上下文的语言关联特征生成多角度理解上下文以及上下文总体与局部的关系的输出向量C_out通过线性层处理后，使用softmax计算上下文中每个字作为答案起止位置的概率，抽取概率最大的连续子序列作为答案。

2.如权利要求1所述的问答任务的下游任务处理方法，其特征在于，上下文的语言关联特征为H，H＝{h₁,h₂,h₃,...,h_s}，h₁至h_s表示上下文和问题拼接成的序列经过编码器编码后的表示，S表示上下文和问题拼接成的序列长度，步骤S2包括：

S201、基于上下文和问题在H中的位置，截取问题截取部分H_Q和上下文截取部分H_C，H_Q＝{h₂,h₃,h₄,...,h_n+1}，H_C＝{h_n+3,h_n+4,...,h_n+m+2}，n表示问题词的长度，m表示上下文词的长度；

S202、构建相似性矩阵S，

S＝W_S(H_C,H_Q,H_C·H_Q)

式中，W_S为一个可训练矩阵；

S203、分别对相似性矩阵S的每行和每列进行softmax运算，得到S₁和S₂，S₁表示对于每个上下文词，所有的问题词与之的相关性；S₂表示对于每个问题词，所有的上下文词与之的相关性；S₁＝softmax_→(S)，S₂＝softmax_↓(S)；

S204、突出问题关键词和上下文关键词权重；

S205、基于下式生成关键信息感知的上下文表示H_CKey以及关键信息感知的问题表示H_QKey：

H_CKey＝H_C+H_C⊙A_C

H_QKey＝H_Q+H_Q⊙A_Q

式中，A_C表示与问题关键词相关联的上下文关键部分注意力，A_Q表示与上下文关键词相关联的问题关键部分注意力；

A_C＝S₂·S_Qkey

A_Q＝S₁·S_Ckey

式中，S_Qkey表示突出关键词的问题权重，S_Ckey表示突出关键词的上下文权重；

S_Qkey＝mean_↓(S₁)

S_Ckey＝mean_→(S₂)。