[发明专利]自然语言处理方法及其设备和存储介质

权利要求书

1.一种基于自注意力的处理文本的方法，包括：

获取输入向量序列，所述输入向量序列包括待处理文本的词向量序列；

对输入向量序列中的词向量进行分组，并对至少一组词向量执行自注意力处理；以及

基于自注意力处理结果，生成待处理文本对应的输出向量序列。

2.根据权利要求1所述的方法，还包括：在所述对输入向量序列中的词向量进行分组之前，对输入向量序列中的各词向量进行排序。

3.根据权利要求2所述的方法，还包括：获取输入向量序列中的各词向量的排序权重，

其中，所述对输入向量序列中的各词向量进行排序，包括：根据各词向量的排序权重，对输入向量序列中的各词向量进行排序。

4.根据权利要求3所述的方法，其中，所述对输入向量序列中的各词向量进行排序，包括：

针对每个词向量，根据其排序权重，生成加权后的词向量；以及

根据各词向量对应的排序权重，对加权后的词向量进行排序。

5.根据权利要求1-4中任一项所述的方法，其中，

对输入向量序列中的词向量进行分组，并对至少一组词向量执行自注意力处理，包括：

对输入向量序列中的词向量进行分组，并对各组分别执行自注意力处理，

以及，基于自注意力处理结果，生成待处理文本对应的输出向量序列，包括：

基于各组的自注意力处理结果，生成待处理文本对应的输出向量序列。

6.根据权利要求5所述的方法，其中，对输入向量序列中的词向量进行分组，包括：

获取对输入向量序列中的词向量进行分组时的组的数量；

基于所述组的数量，对输入向量序列中的词向量进行分组。

7.根据权利要求5所述的方法，其中，所述基于各组的自注意力处理结果，生成待处理文本对应的输出向量序列，包括：

将各组的自注意力处理结果进行合并；以及

根据合并后的向量序列，生成待处理文本对应的输出向量序列。

8.根据权利要求1-4中任一项所述的方法，其中，对输入向量序列中的词向量进行分组，并对至少一组词向量执行自注意力处理，包括：

将输入向量序列中的词向量分为两组，对其中的一组词向量执行自注意力处理，而对另一组词向量不执行自注意力处理。

9.根据权利要求8所述的方法，其中，将输入向量序列中的词向量分为两组，包括：

通过排序，选取输入向量序列中的设定数目个词向量作为执行自注意力处理的一组。

10.根据权利要求8所述的方法，其中，基于自注意力处理结果，生成待处理文本对应的输出向量序列，包括：

对注意力处理结果进行补零，使得其向量数目与输入向量序列中的向量数目相同；以及

根据补零后的自注意力处理结果，生成待处理文本对应的输出向量序列。

11.根据权利要求8所述的方法，其中，对其中的一组词向量执行自注意力处理，包括：

将要执行自注意力处理的所述一组词向量进一步分组，并对各子分组分别执行自注意力处理，以及

合并各子分组的自注意力处理结果，以得到所述一组词向量的自注意力处理结果。