[发明专利]一种基于多头自注意力机制的动态元嵌入方法

权利要求书

1.一种基于多头自注意力机制的动态元嵌入方法，其特征在于，包括以下步骤：

步骤1，将输入句子中的每个词表示为词向量序列w_i,j为嵌入第i个嵌入集的第j个词，j＝1,2,…,s，s为句子中词的数量，i＝1,2,…,n，n为嵌入集的数量；

步骤2，通过一个全连接层将每个词向量映射到同一维度，表示为：

w′_i,j＝p_iw_i,j+c_i       (1)

其中，p_i、c_i为学习参数；

步骤3，基于多头自注意力机制计算嵌入矩阵，按(2)～(5)式得到元嵌入表示的词向量矩阵B＝[w″_i,j]_n×s：

X_R×1＝(x₁,x₂,…,x_R)^T         (5)

其中，a_r、b_r和x_r为学习参数，r＝1,2,…,R，R为多头自注意力机制的计算次数，A_1×R为嵌入矩阵，φ为softmax或sigmoid门控函数。

2.根据权利要求1所述的基于多头自注意力机制的动态元嵌入方法，其特征在于，所述方法还包括降低输入句子噪声的预处理步骤。

3.根据权利要求1所述的基于多头自注意力机制的动态元嵌入方法，其特征在于，所述方法还包括将训练模型的损失函数增加一个惩罚项NewPT：

其中，表示求矩阵的Frobenius范数，I为单位矩阵。