[发明专利]知识表示学习方法、装置、设备以及存储介质

说明书

本申请实施例公开了知识表示学习方法、装置、设备以及存储介质，涉及自然语言处理、深度学习技术领域。该方法的一具体实施方式包括：获取行业训练文本；利用掩码语言模型对行业训练文本中的行业词进行掩码，得到掩码训练文本；将掩码训练文本输入至预训练语言模型，学习得到行业训练文本中的每个字的知识表示。该实施方式利用特定行业的训练文本训练预训练语言模型，提升了预训练语言模型应用到特定行业任务上的效果。此外，在训练过程中，利用掩码语言模型对行业训练文本中的行业词进行掩码，使得预训练语言模型能够结合完整的行业词学习其中每个字的知识表示，从而提升了预训练语言模型对行业词中的每个字的知识表示的学习效果。

技术领域

本申请实施例涉及计算机技术领域，具体涉及自然语言处理、深度学习技术领域，尤其涉及知识表示学习方法、装置、设备以及存储介质。

背景技术

在NLP(Natural Language Processing，自然语言处理)领域中，预训练语言模型在多项NLP任务上都表现出极佳的效果。此外，预训练语言模型在诸如许多阅读理解任务、信息抽取任务等需要关于现实世界描述和知识推理的任务上也表现的很好，这说明预训练模型具有较好的知识获取能力，能够用来更好地学习知识表示。

发明内容

本申请实施例提出了知识表示学习方法、装置、设备以及存储介质。

第一方面，本申请实施例提出了一种知识表示学习方法，包括：获取行业训练文本；利用掩码语言模型对行业训练文本中的行业词进行掩码，得到掩码训练文本；将掩码训练文本输入至预训练语言模型，学习得到行业训练文本中的每个字的知识表示。

第二方面，本申请实施例提出了一种知识表示学习装置，包括：行业训练文本获取模块，被配置成获取行业训练文本；行业训练文本掩码模块，被配置成利用掩码语言模型对行业训练文本中的行业词进行掩码，得到掩码训练文本；掩码训练文本学习模块，被配置成将掩码训练文本输入至预训练语言模型，学习得到行业训练文本中的每个字的知识表示。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据如第一方面中任一实现方式描述的方法。

本申请实施例提供的知识表示学习方法、装置、设备以及存储介质，首先获取行业训练文本；然后利用掩码语言模型对行业训练文本中的行业词进行掩码，得到掩码训练文本；最后将掩码训练文本输入至预训练语言模型，学习得到行业训练文本中的每个字的知识表示。利用特定行业的训练文本训练预训练语言模型，提升了预训练语言模型应用到特定行业任务上的效果。此外，在训练过程中，利用掩码语言模型对行业训练文本中的行业词进行掩码，使得预训练语言模型能够结合完整的行业词学习其中每个字的知识表示，从而提升了预训练语言模型对行业词中的每个字的知识表示的学习效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请可以应用于其中的示例性系统架构；

图2是根据本申请的知识表示学习方法的一个实施例的流程图；