[发明专利]一种基于损失函数筛选具有高贡献度语料的方法及系统

权利要求书

1.一种基于损失函数筛选具有高贡献度语料的方法，其特征在于，包括以下步骤：

S1，设定筛选具有高贡献度语料的目标数量T；

S2，利用Transformer模型和基础大规模语料库，使用损失函数，对目标语料库A中所有数据按批次计算损失函数中的交叉熵得到语料库B；

S3，对计算交叉熵后的语料库B进行排序，选择前50％进行随机排列；

S4，重复步骤S1～S3，直至步骤S3中的语料库B的前50％随机排列的语料数量不小于目标数量T；

S5，将种子语料与步骤S4中筛选出的语料集合C中的所有语料进行语义相似度计算，并对结果排序得到语料库D；

S6，观察排序结果，并根据需要选取一定数量与种子语料最相似的语料作为最具有贡献度的语料。

2.根据权利要求1所述的基于损失函数筛选具有高贡献度语料的方法，其特征在于，所述Transformer为自注意力机制的神经网络，具体包括：

点乘注意力Attention：

多头注意力MultiHead：

MultiHead(Q,K,V)＝Concat(head1,…,head_n)

其中，head1,…,head_n为第一个词的向量，分为多个头标记，Q,K,V均为词向量，W为权重矩阵，Concat是指把向量拼接起来，d_k表示k向量的维度，K^T表示K向量的转置，x_i表示第i个x，x_j表示第j个x，i取值是1到j，j的取值是所有输入x的维度，表示Q向量权重的的第i个分量，表示K向量权重的的第i个分量，表示V向量权重的的第i个分量；

前馈神经网络：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂

其中，x表示输入向量，W₁表示权重，b₁和b₂为偏差，W₂表示第二组权重；

最后通过softmax得到目标语言的词向量：

其中，θ_i为权重参数，k为目标语言词表的大小，表示输入为x时当前的系统参数，k表示词表大小，i表示第i组参数，T表转置，x表示输入。

3.根据权利要求1所述的基于损失函数筛选具有高贡献度语料的方法，其特征在于，所述损失函数中的交叉熵是训练数据中，原文的标准译文和当前训练模型产生的机器翻译译文之间的交叉熵。

4.根据权利要求1所述的基于损失函数筛选具有高贡献度语料的方法，其特征在于，所述S5的语义相似度计算具体包括：将需要比较的两个句子进行向量转化，把句子转化成向量，然后计算两个向量之间的余弦距离，余弦距离就是两个句子之间的相似度。

5.根据权利要求1所述的基于损失函数筛选具有高贡献度语料的方法，其特征在于，所述S6具体包括：选取和目标领域保持一致的语料，通过计算余弦距离来进行排序，将排序后，距离最近的语料作为与种子语料相似度最高的语料。

6.一种基于损失函数筛选具有高贡献度语料的方法的系统，其特征在于，所述系统用于实现如权利要求1-5任一项所述的基于损失函数筛选具有高贡献度语料的方法的步骤，包括：

排序模块，用于设定筛选具有高贡献度语料的目标数量T，利用Transformer模型和基础大规模语料库，使用损失函数，对目标语料库A中所有数据按批次计算损失函数中的交叉熵得到语料库B，对计算交叉熵后的语料库B进行排序，选择前50％进行随机排列；

重复上述操作过程直至语料库B的前50％随机排列的语料数量不小于目标数量T；

相似度计算模块，将种子语料与上述操作中筛选出的语料集合C中的所有语料进行语义相似度计算，并对结果排序得到语料库D；

选取模块，用于观察排序结果，并根据需要选取一定数量与种子语料最相似的语料作为最具有贡献度的语料。