[发明专利]一种领域知识抽取方法、系统、电子设备及介质

说明书

本申请公开了一种领域知识抽取方法、系统、电子设备及介质，领域知识抽取方法包括：领域词典生成步骤：根据领域知识词典，建立领域知识等级体系后，根据领域知识等级体系获取领域知识词典的等级；预训练模型建立步骤：根据等级对数据处理后的语料数据中的领域知识进行mask处理获取最终语料数据后，对最终语料数据进行调参学习获取领域知识预训练模型；领域知识抽取模型构建步骤：将标注语料的原始文本输入到领域知识预训练模型后，获取标注语料的tocken特征，将所述tocken特征输入到序列分类模型中获取领域知识抽取模型；领域知识抽取步骤：获取需要抽取领域知识的语料数据，并将语料数据输入到领域知识抽取模型后，领域知识抽取模型输出领域知识。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种领域知识抽取方法、系统、电子设备及介质。

背景技术

随着NLP技术的飞速发展，从领域大量的文本语料中抽取领域知识，帮助企业进行生产经营活动，已成为目前企业数字化转型中的重要环节。不同类型的知识在企业应用中所起到的作用不同，因此在实际领域业务场景中，领域知识在企业经营活动中的重要性存在一定的差异，从语料抽取出的知识相对于不同的领域行业，其重要性具有较大的差异性，而目前以BERT为代表的预训练模型是从大量的语料中抽取语言的特征表达，依据大数定律进行语音模型的特征抽取，语料中的token的分布存在较大差异，从而导致预训练模型对不同的token建立特征的关注度不同，最终形成对不同的token的模型效果不同。在通用领域，不存在知识的重要性差异问题，而在特定的领域行业，知识具有一定的特定偏重，因此需要针对预训练模型进行优化，使其能适配特定领域知识的偏重性，从而更好帮助领域行业的企业进行知识的抽取和应用。

发明内容

本申请实施例提供了一种领域知识抽取方法、系统、电子设备及介质，以至少通过本发明解决了语料抽取的知识重要性和特定领域需要的知识的重要性不一致等问题。

本发明提供了领域知识抽取方法，包括：

领域词典生成步骤：根据领域知识词典，建立领域知识等级体系后，根据所述领域知识等级体系获取所述领域知识词典的等级；

预训练模型建立步骤：根据所述等级对数据处理后的语料数据中的领域知识进行mask处理获取所述最终语料数据后，对所述最终语料数据进行调参学习获取领域知识预训练模型；

领域知识抽取模型构建步骤：将标注语料的原始文本输入到所述领域知识预训练模型后，获取所述标注语料的tocken特征，将所述tocken特征输入到序列分类模型中获取领域知识抽取模型；

领域知识抽取步骤：获取需要抽取领域知识的语料数据，并将所述语料数据输入到所述领域知识抽取模型后，所述领域知识抽取模型输出领域知识。

上述的领域知识抽取方法中，所述词典生成步骤包括:

词典获取步骤：通过收集和整理相关的领域信息获取领域字典后，通过TF-IDF等算法从语料数据中抽取重要性的领域语料词典；

领域知识等级体系建立步骤：通过融合所述领域字典与所述领域语料词典获取所述领域知识词典，并根据所述领域知识词典建立所述领域知识等级体系后，根据所述领域知识等级体系获取所述领域知识词典的所述等级。

上述的领域知识抽取方法中，所述预训练模型建立步骤包括：

语料数据预处理步骤：通过对所述语料数据进行数据清洗、去噪与格式化操作获取标准的Bert模型数据输入格式的数据处理后的所述语料数据；

最终语料数据获取步骤：根据所述等级对数据处理后的所述语料数据中的所述领域知识进行所述mask处理获取所述最终语料数据；

预训练模型获取步骤：通过Bert预训练模块对所述最终语料数据进行所述调参学习获取所述领域知识预训练模型。