[发明专利]一种问答任务的下游任务处理方法及模型

摘要

本发明公开了一种问答任务的下游任务处理方法及模型，得到关键信息感知的上下文表示HCKey以及关键信息感知的问题表示HQKey，生成问题感知的上下文表示G；基于G计算更新向量z和记忆权重g，更新G得到输出向量Gg；生成上下文粒度向量GC及序列粒度向量GCLS，生成输出向量Cout，使用softmax计算上下文中每个字作为答案起止位置的概率，抽取概率最大的连续子序列作为答案。本发明提出了双向层叠注意力机制，并且构造出以精读和略读为一个整体的机制以及基于粒计算思想的多粒度模块，使得模型有效地关注和筛选有效信息，并在多种粒度下更好地理解文本，给出更加精确的答案，性能在基线模型的基础上取得了新的进步。