[发明专利]知识表示学习方法、装置、设备以及存储介质

权利要求书

1.一种知识表示学习方法，包括：

获取行业训练文本；

利用掩码语言模型对所述行业训练文本中的行业词进行掩码，得到掩码训练文本；

将所述掩码训练文本输入至预训练语言模型，学习得到所述行业训练文本中的每个字的知识表示；

其中，所述获取行业训练文本，包括：

收集行业问答语料；

将所述行业问答语料作为正例行业训练文本；

将所述行业问答语料中的问句和答句打散，生成负例行业训练文本；

在所述正例行业训练文本和所述负例行业训练文本的头部插入第一预设字符，以及在问句和答句的结尾插入第二预设字符。

2.根据权利要求1所述的方法，其中，所述掩码语言模型的定制步骤包括：

收集行业语料；

对所述行业语料进行切词，得到词语集合；

统计所述词语集合中的词语的分布，得到分布结果；

基于所述分布结果从所述词语集合中选取词语，生成行业词典，作为所述掩码语言模型。

3.根据权利要求2所述的方法，其中，

所述将所述掩码训练文本输入至预训练语言模型，学习得到所述行业训练文本中的每个字的知识表示，包括：

将所述掩码训练文本输入至预训练语言模型，学习得到所述行业训练文本中的每个字的知识表示，以及所述行业训练文本的正负例预测值。

4.根据权利要求1所述的方法，其中，所述行业是法律行业；以及

所述获取行业训练文本，包括：

收集法律判决书语料；

将所述法律判决书语料中的案由信息删除，生成法律行业训练文本。

5.根据权利要求4所述的方法，其中，所述获取行业训练文本，还包括：

在所述法律行业训练文本的头部插入第一预设字符，以及按照固定字符长度对所述法律行业训练文本进行划分，并且在划分出的每部分的结尾插入第二预设字符；以及

所述将所述掩码训练文本输入至预训练语言模型，学习得到所述行业训练文本中的每个字的知识表示，包括：

将所述掩码训练文本输入至预训练语言模型，学习得到所述法律行业训练文本中的每个字的知识表示，以及所述法律行业训练文本所属的案由。

6.根据权利要求4或5所述的方法，其中，所述法律判决书语料包括刑事法律判决书语料和民事法律判决书语料，以及所述刑事法律判决书语料和所述民事法律判决书语料使用不同的任务标识区分。

7.一种知识表示学习装置，包括：

行业训练文本获取模块，被配置成获取行业训练文本；

行业训练文本掩码模块，被配置成利用掩码语言模型对所述行业训练文本中的行业词进行掩码，得到掩码训练文本；

掩码训练文本学习模块，被配置成将所述掩码训练文本输入至预训练语言模型，学习得到所述行业训练文本中的每个字的知识表示；

其中，所述行业训练文本获取模块包括：

问答语料收集子模块，被配置成收集行业问答语料；

正例文本生成子模块，被配置成将所述行业问答语料作为正例行业训练文本；

负例文本生成子模块，被配置成将所述行业问答语料中的问句和答句打散，生成负例行业训练文本；

第一插入子模块，被配置成在所述正例行业训练文本和所述负例行业训练文本的头部插入第一预设字符，以及在问句和答句的结尾插入第二预设字符。

8.根据权利要求7所述的装置，其中，所述装置还包括掩码语言模型定制模块，所述掩码语言模型定制模块包括：

行业语料收集子模块，被配置成收集行业语料；

行业语料切分子模块，被配置成对所述行业语料进行切词，得到词语集合；

词语分布统计子模块，被配置成统计所述词语集合中的词语的分布，得到分布结果；

行业词典生成子模块，被配置成基于所述分布结果从所述词语集合中选取词语，生成行业词典，作为所述掩码语言模型。