[发明专利]基于标签引导的字词融合的命名实体识别方法

权利要求书

1.基于标签引导的字词融合的命名实体识别方法，其特征在于包括以下步骤：

步骤一：通过BERT模型对待识别的句子进行预训练，得到句中每个字的特征向量：

以句子为单位进行输入，输入的序列X＝{x₁，x₂，…，x_n}，其中n代表一句话中字的个数，得到输入序列的特征C＝{c₁，c₂，…，c_i，…，c_n}，其中c_i为经过BERT预训练后第i个字的特征向量；

步骤二：以待识别句子中的每一个字为对象，对包含这个字的所有的分词结果进行BIE格式标注，得到每个字的分词标注结果；然后根据BIE格式类别，对每个字的分词结果进行分组；其中，对于第i个字x_i，A为分词结果中包含x_i的一个词，则对A进行BIE格式标注的具体过程为：如果x_i为A中的第一个字符，则A被标注为B；如果x_i为A中的中间字符，即非开始与结尾部分，则A被标注为I；如果x_i为A中的结尾字符，则A被标注为E；

步骤三、对步骤二得到的分组结果提取每个组内所有分词的特征向量，将每个组内的所有分词的特征向量与当前字的特征向量进行融合，采用注意力机制来控制每个组的贡献程度，最后将每个组信息融合，得到每一个词的融合词向量；

步骤四：通过门控机制对字特征与融合词向量进行处理，得到所有字的门控单元的输出特征向量；

步骤五：通过BiLSTM与CRF模块对步骤四得到的所有字的融合词向量进行序列标注，得到最优序列标注，实现命名实体识别。

2.根据权利要求1所述的基于标签引导的字词融合的命名实体识别方法，其特征在于步骤三具体包括如下步骤：

(1)提取句子中所有分词结果的词特征向量W＝{w₁,w₂,…,w_I}，其中I代表句子中所有的分词结果；

(2)在步骤二中得到了基于当前字的分词标注结果，提取分词标注结果中每个词的词向量,其中，分词标注结果一共分为三类，即B,I,E，每一类包含0个或多个词，如果分词标注类别中包含多个结果，即多个词向量，则将其进行融合，即

其中指的是当前字i下针对每个c融合的词特征向量，c代表标注的类别，tag代表分组类别，N代表每个标注内包含的分词个数，当前字包含的词向量的集合为：

(3)对于每一个标注类别c，通过当前字的特征向量与c所属组的特征向量进行拼接，计算权重

其中，为训练的参数，σ是一个sigmoid函数，c_i为当前字的特征向量；

(4)对所有类型的标签tag进行softmax操作，得到相应的注意力系数具体如下：

(5)将得到的每个类别的权重系数与对应的位置词向量进行融合，这个可以更加准确的表达当前字包含的位置词全部信息，具体如下：

其中，s_i是融合所有标注的位置词的输出，即当前第i个字x_i的融合词向量。

3.根据权利要求2所述的基于标签引导的字词融合的命名实体识别方法，其特征在于步骤四所述的当前第i个字x_i的门控单元的输出特征向量o_i表示如下：

其中，代表element-wise相乘,也就是对应元素相乘，代表向量的拼接操作；

r_i＝σ(W₁·c_i+W₂·s_i+b)

其中W₁,W₂为模型训练参数，b为偏置系数。