[发明专利]文本处理的方法、装置、设备和介质

权利要求书

1.一种利用神经网络进行文本处理的方法，所述神经网络包括第一自注意力层、多个第一专家子网络、以及多个第二专家子网络，所述方法包括：

获取与输入文本对应的多个输入分词各自的嵌入特征，所述输入文本包括源文本和待扩展的目标文本，所述多个输入分词包括与所述源文本对应的多个第一分词和与所述目标文本对应的至少一个第二分词；

利用所述第一自注意力层对所述多个输入分词各自的嵌入特征进行处理，以生成与所述多个第一分词对应的多个第一向量和与所述至少一个第二分词对应的至少一个第二向量；

基于所述多个第一向量，计算所述多个第一分词各自与所述多个第一专家子网络中的每一个第一专家子网络的第一相关性；

针对所述多个第一专家子网络中的每一个第一专家子网络，基于该第一专家子网络与所述多个第一分词中的每一个第一分词的相关性，在所述多个第一分词中确定与该第一专家子网络匹配的至少一个第一分词；

针对所述多个第一分词中的每一个第一分词，响应于确定所述多个第一专家子网络中具有与该第一分词匹配的至少一个第一专家子网络，利用所述至少一个第一专家子网络对该第一分词进行处理，以生成与该第一分词对应的第三向量；

基于所述至少一个第二向量，计算所述至少一个第二分词各自与所述多个第二专家子网络中的每一个第二专家子网络的第二相关性；

针对所述至少一个第二分词中的每一个第二分词，

基于该第二分词与所述多个第二专家子网络中的每一个第二专家子网络的相关性，在所述多个第二专家子网络中确定与该第二分词匹配的至少一个第二专家子网络；以及

利用与该第二分词匹配的至少一个第二专家子网络对该第二分词进行处理，以生成与该第二分词对应的第四向量；以及

基于与所述多个第一分词对应的多个第三向量和与所述至少一个第二分词对应的多个第四向量，得到扩展后的目标文本。

2.根据权利要求1所述的方法，其中，所述第一自注意力层被配置为基于掩码矩阵对所述多个输入分词各自的嵌入特征进行处理，其中，所述掩码矩阵指示在生成所述多个第一分词中的每一个第一分词对应的第一向量时，将所述至少一个第二分词各自的嵌入特征进行掩码，并且指示在生成与所述至少一个第二分词中的除最后一个第二分词以外的每一个第二分词对应的第二向量时，将该第二分词之后的一个或多个第二分词各自的嵌入特征进行掩码。

3.根据权利要求1或2所述的方法，还包括：

针对所述多个第一分词中的每一个第一分词，响应于确定所述多个第一专家子网络中不具有与该第一分词匹配的第一专家子网络，将该第一分词的第一向量确定为该第一分词的第三向量。

4.根据权利要求1或2所述的方法，其中，基于与所述多个第一分词对应的多个第三向量和与所述至少一个第二分词对应的多个第四向量，生成扩展后的目标文本包括：

基于与所述多个第一分词对应的多个第三向量和与所述至少一个第二分词对应的多个第四向量，生成用于拼接在所述目标文本之后的目标分词；以及

将所述目标文本和所述目标分词进行拼接，得到所述扩展后的目标文本。

5.根据权利要求4所述的方法，其中，所述神经网络包括第二自注意力层和分类子网络，基于与所述多个第一分词对应的多个第三向量和与所述至少一个第二分词对应的多个第四向量，生成用于拼接在所述目标文本之后的目标分词包括：

利用所述第二自注意力层对与所述多个第一分词对应的多个第三向量和与所述至少一个第二分词对应的多个第四向量进行处理，以得到与所述至少一个第二分词中的最后一个第二分词对应的第五向量；以及

利用所述分类子网络对所述第五向量进行处理，以得到所述目标分词。

6.根据权利要求1或2所述的方法，其中，所述多个第一专家子网络不同于所述多个第二专家子网络。