[发明专利]一种非自回归的句子排序方法

权利要求书

1.一种非自回归的句子排序方法，其特征在于，包括以下步骤：

(1)、构建句子排序网络

构建基本句子编码器、上下文句子编码器以及非自回归解码器，并组成句子排序网络，其中，非自回归解码器包括一个多头自注意机制、一个多头互注意力机制以及一个指针网络组成；

(2)、获得基本句子特征

基本句子编码器将N条句子的离散词映射成分布式表示，获得N个维度为d_k的基本句子特征，第j条句子的基本句子特征表示为

(3)、获取上下文句子特征

将基本句子特征拼接为其中，表示N行、d_k列的实数矩阵，令并送入上下文句子编码器；

所述的上下文句子编码器由M个注意力块构成，每个注意力块包括一个多头注意力模块以及一个前馈全连接层；

在上下文句子编码器的第一个注意力块中，首先，通过多头注意力模块得到多头注意力：

MH(Q,K,V)＝[H₁,H₂，...，H_G]W^E

其中，[·,·]表示多个注意力头的拼接，为训练参数，为d_k行、d_k列的实数矩阵，第g个注意力头的计算如下：

其中，为第g个注意力头的训练参数，d_a＝d_k/G；

然后，由前馈全连接层对多头注意力MH(Q,K,V)进行全连接操作，得到上下文句子特征

将第一个注意力块中得到的上下文句子特征进行拼接，然后作为送入第二个注意力块中进行与第一个注意力块中相同的处理，这样，依次在M个注意力块进行处理，最后输出的上下文句子特征并作为上下文句子编码器输出上下文句子特征并表示为上下文句子特征集合

(4)、句子排序

4.1)、将离散位置投影嵌入为紧凑表示p_i，每一维为：

j为偶数

j为奇数

其中，i表示位置的编号，p_i,_j紧凑表示p_i中的第j维，得到N个位置的嵌入表示p₁,p₂,…,p_N；

4.2)、将p₁,p₂,…,p_N拼接为送入非自回归解码器中的多头自注意机制中，采用步骤(3)的方式进行处理，利用多头自注意力机制获取位置之间的交互作用和相对信息：

其中[·,·]表示多个注意力头的拼接，为训练参数，为这里第g个头的训练参数，设置d_a＝d_k/G；

4.3)、在多头互注意力机制中，使用位置查询上下文句子特征得到句子关于位置的注意力特征集合E^p：

其中，注意力特征集合E^p表示为为位置i的注意力特征；

4.4)、在指针网络中，计算N个句子在位置i的概率分布Ptr_i：

Ptr_i＝softmax(ω_i)

其中，W_P、W_b为训练的网络参数，u是列权重向量，为句子j的基本句子特征，ω_ij表示句子j与位置i之间的注意力值，表示所有句子对位置i的注意力；

4.5)、在概率分布Ptr_i中，最大一维对应维度句子序号，将对应句子放到位置i，这样完成句子的排序。

2.根据权利要求1所述的非自回归的句子排序方法，其特征在于，所述句子排序网络通过最小化交叉熵损失函数来优化：

其中，o_i是标签，是一个N维列向量，如果句子j位于位置i，o_i的第j维的值为1，其他维的值为0，o_i用来表示位置i正确对应的是句子j，log(Ptr_i)表示概率分布Ptr_i的N维概率取对数后构成的N维列向量。

3.根据权利要求1所述的非自回归的句子排序方法，其特征在于，采用BERT预训练模型作为基本句子编码器。