[发明专利]一种分词、词性标注和命名实体识别的联合词法分析方法

权利要求书

1.一种分词、词性标注和命名实体识别的联合词法分析方法，其特征在于：所述将分词和词性标注任务分解为候选词语检测和词性类别预测两个子任务，将实体识别任务分解为候选实体检测和实体类别预测两个子任务，并采用统一的神经网络模型对四个任务进行联合学习；同时，对不同任务之间的参数进行共享。

2.如权利要求1所述的分词、词性标注和命名实体识别的联合词法分析方法，其特征在于，包括以下步骤：

S1：对从PFR1998中获取的文本进行数据预处理，给每个字符片段匹配它对应的标签类别；

S2：对S1预处理过的数据中依次得到每个句子信息作为输入，利用BERT预训练语言模型对输入进行特征编码，获取句子中每个字的带上下文语义向量表示，对句子中所有连续子序列进行候选词语检测和候选实体检测，再通过计算候选词语和候选实体的得分概率，进而去预测当前序列中的词序列标签、词性序列标签和实体序列标签。

3.如权利要求2所述的分词、词性标注和命名实体识别的联合词法分析方法，其特征在于，包括以下步骤：所述S1对数据预处理包括：

针对训练集对词语构建词性标签字典和实体标签字典；

结合字符在句子中的位置信息，给字符片段标注标签类别；

随后，每个句子都以字符作为输入单位，通过BERT预训练语言模型的分词器对每个字符赋予固定的id编号，获得句子的切分序列[w₁,w₂,...,w_n]，其中，w_i表示切分项在BERT词汇表中的编号。

4.如权利要求3所述的分词、词性标注和命名实体识别的联合词法分析方法，其特征在于，包括以下步骤：

对预处理后的数据，获取句子中每个字的带上下文语义向量表示：

将切分后的序列[w₁,w₂,...,w_n]输入BERT预训练语言模型编码后，得到向量表示[h₁,h₂,...,h_n]，其中h_i是w_i对应的向量表示，向量维度d＝768。