[发明专利]一种细粒度中文命名实体识别方法

权利要求书

1.一种细粒度中文命名实体识别方法，其特征在于，包括：

S1、基于无标注语料训练BERT中文模型，得到训练好的BERT中文预训练模型；

S2、获取中文细粒度命名实体的语料数据，对所述语料数据做预处理操作后进行命名实体标注，得到中文细粒度命名实体识别数据集；

S3、将所述中文细粒度命名实体识别数据集代入训练好的BERT中文预训练模型中，提取各batch数据的Embedding词向量；

S4、获取特征向量之间深层特征；

S5、获取长文本之间依赖的离散特征；

S6、获取全局最优命名实体序列；

S7、获取模型综合损失，得到训练好的综合模型；

S8、利用训练好的综合模型，对中文细粒度命名实体文本进行命名实体识别，得到识别结果；

提取各batch数据的Embedding词向量的方法包括：

S301、提取所述中文细粒度命名实体识别数据集中，各batch数据内最长文本的数据长度；

S302、以所述数据长度作为batch数据的batch size；

S303、使用训练好的BERT中文预训练模型提取各batch数据的Embedding词向量；

获取模型综合损失的方法包括：

S701、基于IDCNN网络的训练预测结果，计算focalloss；

S702、通过概率建模方法学习最优条件，为条件随机场模型损失和focal loss赋予权重；

S703、对不同权重进行平衡，得到模型综合损失；

得到的模型综合损失为：

式中，L为综合损失，L₁为条件随机场模型损失，L₂为当前样本数据预测的focalloss，σ₁为条件随机场模型损失的权重，σ₂为focalloss的权重。

2.根据权利要求1所述的一种细粒度中文命名实体识别方法，其特征在于，获取特征向量之间深层特征的方法包括：将得到的Embedding词向量输入Bi-GRU模型进行深层特征提取，由Bi-GRU模型输出深层特征词向量；所述Bi-GRU模型包括前项GRU组件、后向GRU组件。

3.根据权利要求2所述的一种细粒度中文命名实体识别方法，其特征在于，获取长文本之间依赖的离散特征的方法包括：

S501、将所述深层特征词向量输入IDCNN网络进行离散特征提取；

S502、将提取的离散特征通过IDCNN网络内部的全连接层进行综合，输出数据整体特征。

4.根据权利要求3所述的一种细粒度中文命名实体识别方法，其特征在于，所述IDCNN网络中的激活函数为：式中，Y为激活函数输出，x为上层神经网络的输出，α为训练中自定义的超参数，e为自然对数。

5.根据权利要求3所述的一种细粒度中文命名实体识别方法，其特征在于，获取全局最优命名实体序列的方法包括：

S601、将所述数据整体特征通过条件随机场模型CRF进行全局归一化；

S602、通过CRF内部的状态函数获取输入序列与当前状态之间的关系、通过CRF内部的转移函数获取输出状态与当前状态之间的关系；

S603、得到当前序列的转移特征、以及条件随机场模型损失；

S604、通过Viterbi算法对当前序列进行解码，获取标注的最优路径。

6.根据权利要求1所述的一种细粒度中文命名实体识别方法，其特征在于，通过如下公式计算focalloss：L₂＝-(1-p_t)γlog(p_t)；式中，p_t为当前预测值与类别t的接近程度，γ为大于0的超参数，L₂为当前样本数据预测的focalloss。

7.根据权利要求6所述的一种细粒度中文命名实体识别方法，其特征在于，p_t的取值方法为：若当前样本数据的真实标签为1，则p_t＝p；否则，p_t＝1-p；其中，p为模型预测的概率。