[发明专利]文本处理方法、装置及电子设备

权利要求书

1.一种文本处理方法，其特征在于，包括：

获取自然语言处理模型已训练完成的目标位置编码向量；

对所述目标位置编码向量中第一个数的目标位置编码分别进行分化处理，得到第二个数的新位置编码，其中，第二个数大于第一个数；

将所述第二个数的新位置编码，组合得到新位置编码向量，并使得所述新位置编码向量中前第一个数的新位置编码与所述第一个数的目标位置编码一一对应；

使用所述新位置编码向量作为参数的自然语言处理模型进行文本处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标位置编码向量中第一个数的目标位置编码分别进行分化处理，得到第二个数的新位置编码，具体包括：

从所述目标位置编码向量中获取参照基准的参照位置编码；

根据所述参照位置编码、预设超参数和所述第一个数的目标位置编码，确定基底编码向量；

通过所述基底编码向量和每个新位置编码对应的相对位置坐标，确定所述第二个数的新位置编码，其中，相对位置坐标是根据目标位置编码分化处理前所对应的序列值，和分化处理后新位置编码所对应的序列值确定得到的。

3.根据权利要求2所述的方法，其特征在于，所述根据所述参照位置编码、预设超参数和所述第一个数的目标位置编码，确定基底编码向量，具体包括：

利用公式计算得到所述基底编码向量，其中，i＝1,2,…,n，n为所述第一个数，p_i为i对应的目标位置编码，p₁为参照位置编码，α为预设超参数，α∈(0,1)且α≠0.5，u_i为基底编码。

4.根据权利要求3所述的方法，其特征在于，所述通过所述基底编码向量和每个新位置编码对应的相对位置坐标，确定所述第二个数的新位置编码，具体包括：

将相对位置坐标(i,j)的i对应的位置编码确定为αu_i，j对应的位置编码确定为(1-α)u_j，j＝1,2,…,m，m为所述第二个数；

将αu_i和(1-α)u_j叠加得到相对位置坐标(i,j)的新位置编码。

5.根据权利要求4所述的方法，其特征在于，所述将所述第二个数的新位置编码，组合得到新位置编码向量，并使得所述新位置编码向量中前第一个数的新位置编码与所述第一个数的目标位置编码一一对应，具体包括：

利用公式q(i-1)×n+j＝αu_j+(1-α)u_j(1)，计算得到新位置编码向量q₁,q₂,…,q_m。

6.根据权利要求1所述的方法，其特征在于，在所述使用所述新位置编码向量作为参数的自然语言处理模型进行文本处理之前，所述方法还包括：

对所述自然语言处理模型的注意力机制进行调整，使得将搜索文本中每个元素与数据库文本序列内的部分元素相关；

所述使用所述新位置编码向量作为参数的自然语言处理模型进行文本处理，具体包括：

使用所述新位置编码向量作为参数、且注意力机制调整后的自然语言处理模型进行文本处理。

7.根据权利要求6所述的方法，其特征在于，所述对所述自然语言处理模型的注意力机制进行调整，使得将搜索文本中每个元素与数据库文本序列内的部分元素相关，具体包括：

将搜索文本中目标元素与数据库文本序列内的第一元素关联，所述第一元素为数据库文本序列内与目标元素相对距离为预定距离的元素。