[发明专利]文本处理方法、装置及电子设备

说明书

本申请公开了一种文本处理方法、装置及电子设备，涉及数据处理技术领域。其中方法包括：首先获取自然语言处理模型已训练完成的目标位置编码向量；再对所述目标位置编码向量中第一个数的目标位置编码分别进行分化处理，得到第二个数的新位置编码，其中，第二个数大于第一个数；然后将所述第二个数的新位置编码，组合得到新位置编码向量，并使得所述新位置编码向量中前第一个数的新位置编码与所述第一个数的目标位置编码一一对应；最后使用所述新位置编码向量作为参数的自然语言处理模型进行文本处理。本申请可提高自然语言处理模型计算能力，保证了搜索效率和准确性费。

技术领域

本申请涉及数据处理技术领域，尤其是涉及到一种文本处理方法、装置及电子设备。

背景技术

搜索是用户进行信息查找的最大入口，是连接用户和信息的重要纽带。用户体验，是衡量搜索的重要维度。

目前可利用自然语言处理模型，实现在搜索中对包括搜索词(query)和文档(doc)的文本部分进行处理。如相关性、词性标注、分词、句法结构分析、文本生成等多个任务上，是自然语言处理任务的重要应用技术。

然而，传统自然语言处理模型中的参数数据，限制了模型计算能力，进而影响了搜索效率和准确性。如使用了从随机初始化训练出来的目标位置编码，一般的最大位置设为固定的特定数值，因此会导致自然语言处理模型处理的文本长度会受到该最大位置的限制，无法处理更长的文本。

发明内容

有鉴于此，本申请提供了一种文本处理方法、装置及电子设备，主要目的在于改善目前现有技术中会限制自然语言处理模型计算能力，进而影响了搜索效率和准确性的技术问题。

依据本申请的一个方面，提供了一种文本处理方法，该方法包括：

获取自然语言处理模型已训练完成的目标位置编码向量；

对所述目标位置编码向量中第一个数的目标位置编码分别进行分化处理，得到第二个数的新位置编码，其中，第二个数大于第一个数；

将所述第二个数的新位置编码，组合得到新位置编码向量，并使得所述新位置编码向量中前第一个数的新位置编码与所述第一个数的目标位置编码一一对应；

使用所述新位置编码向量作为参数的自然语言处理模型进行文本处理。

可选的，所述对所述目标位置编码向量中第一个数的目标位置编码分别进行分化处理，得到第二个数的新位置编码，具体包括：

从所述目标位置编码向量中获取参照基准的参照位置编码；

根据所述参照位置编码、预设超参数和所述第一个数的目标位置编码，确定基底编码向量；

通过所述基底编码向量和每个新位置编码对应的相对位置坐标，确定所述第二个数的新位置编码，其中，相对位置坐标是根据目标位置编码分化处理前所对应的序列值，和分化处理后新位置编码所对应的序列值确定得到的。

可选的，所述根据所述参照位置编码、预设超参数和所述第一个数的目标位置编码，确定基底编码向量，具体包括：

利用公式计算得到所述基底编码向量，其中，i＝1,2,…,n，n为所述第一个数，p_i为i对应的目标位置编码，p₁为参照位置编码，α为预设超参数，α∈(0,1)且α≠0.5，u_i为基底编码。

可选的，所述通过所述基底编码向量和每个新位置编码对应的相对位置坐标，确定所述第二个数的新位置编码，具体包括：

将相对位置坐标(i,j)的i对应的位置编码确定为αu_i，j对应的位置编码确定为(1-α)u_j，j＝1,2,…,m，m为所述第二个数；