[发明专利]一种基于遮蔽语言模型的金融领域多重关系抽取方法

权利要求书

1.一种基于遮蔽语言模型的金融领域多重关系抽取方法,其特征在于，包括以下步骤：

S1:利用遮蔽语言模型对输入的数据集编码为句向量；所述遮蔽语言模型学习融合左右两侧的语境表征，从而预训练一个深度双向多头注意力语言模型，使用所述深度双向多头注意力语言模型在大规模语料上进行预训练后，能够应用于各种不同自然语言处理任务的迁移学习；

S2:利用基于概率图思想的融合模型首先从所述步骤S1句向量中抽取主语向量，然后从所述主语向量中抽取宾语向量，最后根据所述主语向量和取宾语向量抽取其对应的谓语向量；

S3:提出所述步骤S2中的主语向量、宾语向量和谓语向量，并将其映射为对应的字符串；

其中所述基于概率图思想的融合模型的公式为：

P(s，p，o)＝P(s)P(o|s)P(p|s，o)

其中，s指主语向量，p指谓语向量，o为宾语向量。

2.根据权利要求1所述的基于遮蔽语言模型的金融领域多重关系抽取方法,其特征在于：所述步骤S2是利用概率图思想的融合模型首先从所述步骤S1句向量中抽取主语向量，然后根据所述主语向量提取对应的宾语向量和谓语向量。

3.根据权利要求1所述的基于遮蔽语言模型的金融领域多重关系抽取方法,其特征在于：所述步骤S1中句向量的序列包含词向量序列、位置编码序列和遮蔽编码序列三部分。

4.根据权利要求1所述的基于遮蔽语言模型的金融领域多重关系抽取方法,其特征在于：所述步骤S1利用遮蔽语言模型对输入的数据集编码为句向量前，将所述数据集构建远程监督所需的辅助知识库，将远程监督的结果作为模型的训练特征。