[发明专利]一种基于RoBERTa和启发式算法的实体链接方法

权利要求书

1.一种基于RoBERTa和启发式算法的实体链接方法，其特征在于，包含以下步骤：

S1、使用基于预训练语言模型RoBERTa的序列标注模型对问题进行标注，RoBERTa模型通过堆叠12层transformer结构以获取问题中多层次的语法语义信息；而transformer中通过多头注意力机制获取问题中每个单词基于上下文的动态表示，进而获取问题中的实体提及范围；

步骤S1中，所述序列标注模型，其输入是问题中的每个单词，输出是问题中每个单词是否提及到知识库实体的0/1分类；所述序列标注模型包括以下三层：

（1）输入层：对于输入问题中的单词序列，输入层使用双字节编码，将单词序列编码编码成一系列子词，并将编码结果传递到预训练RoBERTa层；

（2）预训练RoBERTa层：该层首先将输入层的每一个子词其转化为2个向量，分别为：a、词向量：根据词表将每个单词映射成一个768维的词向量；b、位置向量：根据每个单词在问题中的位置，将其位置信息映射成一个768维的位置向量，并将上述两个向量每个元素相加作为子词的向量表示；然后，利用堆叠12层的transformer结构，让每个输入子词获得句子级别的上下文信息；

（3）输出层：该层使用一个全连接神经网络，将包含上下文信息的子词表示转化为一个2维表示，并将子词合并成原始单词，从而得到每个单词是否提及到知识库实体的0/1分类；

S2、获得实体提及范围后，使用一个启发式算法，直接将该实体提及与知识库实体进行匹配，完成实体链接；

所述步骤S2具体如下：

S201、将问题中被标注为1而且相邻的单词合并起来，得到字符串S；若识别出多个候选实体字符串，则取最后一个；

S202、在知识库查询全名或别名为字符串S的所有实体，并将相关实体添加到候选实体集H中；

S203、若在步骤S202中查询不到相关知识库实体，则以字符串S为中心窗口，在距离1-2个单词内进行左右滑动，每滑动一次，得到一个新的字符串S`，然后重复步骤S202，直至获取实体集合H。