[发明专利]一种基于BERT-BiGRU-CRF的中文命名实体识别方法

权利要求书

1.一种基于BERT-BiGRU-CRF的中文命名实体识别方法，其特征在于，包括以下步骤：

步骤A、获取语言模型的训练语料数据并进行预处理，具体包括以下分步骤：

A1、将原始语料进行字符级切分；

A2、构建句子对正负样本，其中正样本表示句子对有上下文关系；负样本表示两个句子没有关系；

A3、对超过max_num_tokens的句子对进行截断；

A4、连接句子对，用[SEP]标签进行连接，句首置[CLS]标签,句末置[SEP]标签；

A5、随机遮住15％的单词；其中80％用masked token来代替，10％用随机的一个词来替换，10％保持这个词不变；

步骤B、根据步骤A预处理后的训练语料数据训练BERT语言模型包括Embedding层、双向Transformer编码器、输出层；

步骤C、获取命名实体识别模型的训练语料数据并进行标注，形成标注语料，

具体是对中文命名实体识别语料进行标注，采用BIO标注模式，其中B表示实体开始，I表示实体非开始部分，O表示不是实体的部分；

步骤D、对步骤C得到的标注语料进行预处理，具体包括以下分步骤：

D1、将原始语料进行字符级切分；

D2、句首置[CLS]标签,句末置[SEP]标签；对应标签也分别置为[CLS],[SEP]

步骤E、根据步骤B得到的基于BERT的语言模型和步骤D预处理后的标注语料构建基于BERT-BiGRU-CRF的中文命名实体识别模型；

步骤F、利用步骤E得到的基于BERT-BiGRU-CRF的中文命名实体识别模型对待识别数据进行处理，得到命名实体识别结果。

2.如权利要求1所述的基于BERT-BiGRU-CRF的中文命名实体识别方法，其特征在于，所述步骤B还包括将步骤A5得到的训练语料变为定长，对长度不够的句子用[PAD]进行补齐，将定长语料输入BERT模型进行训练。

3.如权利要求2所述的基于BERT-BiGRU-CRF的中文命名实体识别方法，其特征在于，所述步骤E中BERT-BiGRU-CRF模型包括步骤B中训练好的BERT语言模型，通过BERT编码步骤D中预处理好的命名实体识别语料，输出每个字的上下文表示，然后将字向量序列输入BiGRU-CRF中进行训练。

4.如权利要求3所述的基于BERT-BiGRU-CRF的中文命名实体识别方法，其特征在于，所述步骤F利用步骤E得到的BERT-BiGRU-CRF模型对待识别数据进行处理，得到命名实体识别结果，具体为：

按照步骤D中的方式对待识别数据进行预处理，通过BERT-BiGRU-CRF预测实体标签，最后采用维特比算法求出每句话最大可能的标注序列，将其作为命名实体识别结果。