[发明专利]一种基于循环神经网络的命名实体识别方法

权利要求书

1.一种基于循环神经网络的命名实体识别方法，具体包括如下步骤：

S1、首先对命名实体识别任务数据集中的数据进行整理，统计出数据集中实体的类型，并采用BIO标注策略进行数据预处理，处理后的数据分为两列，第一列为数据集中的字符，第二列为对应的标注标签；

S2、获取当前序列文本的上下文特征：

S21、设置输入门i_t、遗忘门f_t和输出门o_t，三种门都是由当前输入x_t、上一个隐藏层和上一个细胞状态C_t-1控制的；

S22、首先由x_t和输入门i_t得到新信息C_new；

S23、新信息再与上一个细胞状态C_t-1融合，得到融合后的新信息，再经过遗忘门f_t，得到遗忘后的新信息；

S24、再与前面的新信息C_new融合得到当前的细胞状态C_t，当前细胞状态再经过输出门控制得到当前隐藏层的输出当前序列文本的特征，此时得到的从前往后的序列文本特征，要想获得文本的上下文特征信息，还需要从后往前计算一遍，将两遍得到的隐藏层相加，得到当前序列文本的上下文特征；

S3、获得前位置字符的标签：该部分将上一步得到的当前序列文本的上下文特征输入到条件随机场模型中，得到当前位置字符的标签概率，从而得到当前位置字符的标签。

2.根据权利要求1所述的一种基于循环神经网络的命名实体识别方法，其特征在于，所述步骤S1中需要对原始数据集进行数据预处理，采用BIO标注策略，BIO标注将每个字标注为“B-X”、“I-X”或“O”，“B-X”表示此元素所在的片段属于X类型并且此元素在此片段的开头，“I-X”表示此元素所在的片段属于X类型并且此元素在此片段的中间位置，“O”表示不属于任何类型。

3.根据权利要求1所述的一种基于循环神经网络的命名实体识别方法，其特征在于，所述步骤S21中需要计算输入门i_t、遗忘门f_t和输出门o_t；

S211、门的计算主要依靠函数sigmoid，sigmoid函数将变量控制到0和1之间，为0时表示门完全关闭，为1时表示门完全打开，门的输入由当前输入x_t、上一个隐藏层和上一个细胞状态C_t-1控制；

S212、在门中加入细胞状态主要是因为当上一时刻的输出门o_t-1关闭时，上一时刻的隐藏层输出为0，则当前时刻的遗忘门、输入门和输出门都只依赖于当前时刻输入x_t，这显然不符合长期记忆的要求；

S213、各种门以及新信息的计算公式如下：

其中x_t表示当前信息，W表示权重矩阵，b表示偏置，σ表示sigmoid函数，表示上一层的隐藏层信息，i_t是输入门，是待处理的新信息，表示经过输入门处理后的新信息，f_t是遗忘门，C_t表示新信息，o_t是输出门。

4.根据权利要求1所述的一种基于循环神经网络的命名实体识别方法，其特征在于，所述步骤S2中得到了当前序列文本的上下文特征，在步骤S3中将得到的上下文特征输入到条件随机场模型中得到当前字符对应的标签概率，根据标签概率的大小得到具体的标签；

条件随机场的参数化定义为：

其中，t_k和s_l是特征函数，它们是二值函数，函数值为0或者1，满足条件时为1，否则为0，t_k是定义在边上的特征函数，依赖于当前和前一个位置，s_l是定义在节点上的特征函数，依赖于当前位置。λ_k和μ_l是对应的权值，Z(x)是规范化因子，是对所有可能的输出序列上进行求和。