[发明专利]一种命名实体识别方法、装置、存储介质及终端设备

权利要求书

1.一种命名实体识别方法，其特征在于，包括：

获取未标注语料；

根据所述未标注语料对预设的语言模型进行训练；

对所述未标注语料进行标注，获得标注语料；

根据所述标注语料对预设的命名实体识别模型进行训练；其中，所述命名实体识别模型根据训练后的语言模型构建获得；所述语言模型包括Word Embedding层、Bi-LSTM层和Softmax层，所述命名实体识别模型包括Word Embedding层、Bi-LSTM层、Softmax层和CRF层；所述命名实体识别模型中的Word Embedding层和Bi-LSTM层为所述语言模型中的经过训练的Word Embedding层和Bi-LSTM层；

根据训练后的命名实体识别模型对待识别文本中的命名实体进行识别。

2.如权利要求1所述的命名实体识别方法，其特征在于，所述获取未标注语料，具体包括：

收集文本语料；

对所述文本语料进行预处理，获得所述未标注语料；其中，所述预处理包括语料去重、繁体转简体、全角符号转半角符号和去除噪音字符。

3.如权利要求1所述的命名实体识别方法，其特征在于，所述根据所述未标注语料对预设的语言模型进行训练，具体包括：

基于所述Word Embedding层，根据所述未标注语料获得词向量；

基于所述Bi-LSTM层，根据所述词向量获得第一输出结果；

基于所述Softmax层，根据所述第一输出结果相应获得预测概率；

根据所述预测概率和预设的第一损失函数计算第一损失值；

根据所述第一损失值和反向传播算法对所述Bi-LSTM层的权重值进行优化更新。

4.如权利要求3所述的命名实体识别方法，其特征在于，所述第一损失函数为其中，loss表示损失值，N表示训练样本的总数，p_i表示训练样本中的第i个字符的预测概率。

5.如权利要求1所述的命名实体识别方法，其特征在于，所述对所述未标注语料进行标注，获得标注语料，具体包括：

根据BIEO标注方式对所述未标注语料进行标注，获得所述标注语料。

6.如权利要求1所述的命名实体识别方法，其特征在于，所述根据所述标注语料对预设的命名实体识别模型进行训练，具体包括：

基于所述Word Embedding层，根据所述标注语料获得词向量；

基于所述Bi-LSTM层，根据所述词向量获得第二输出结果；

基于所述Softmax层，根据所述第二输出结果相应获得所述词向量中的每个字符映射到每个标注标签的第一预测分值；

基于所述CRF层，根据所述第一预测分值获得每个字符的映射到每个标注标签的第二预测分值；

根据所述第二预测分值和预设的第二损失函数计算第二损失值；

根据所述第二损失值和反向传播算法对所述Bi-LSTM层的权重值进行优化更新。

7.如权利要求6所述的命名实体识别方法，其特征在于，所述第二损失函数根据最大似然估计获得。

8.一种命名实体识别装置，其特征在于，包括：

语料获取模块，用于获取未标注语料；

语言模型训练模块，用于根据所述未标注语料对预设的语言模型进行训练；

语料标注模块，用于对所述未标注语料进行标注，获得标注语料；

识别模型训练模块，用于根据所述标注语料对预设的命名实体识别模型进行训练；其中，所述命名实体识别模型根据训练后的语言模型构建获得；所述语言模型包括WordEmbedding层、Bi-LSTM层和Softmax层，所述命名实体识别模型包括Word Embedding层、Bi-LSTM层、Softmax层和CRF层；所述命名实体识别模型中的Word Embedding层和Bi-LSTM层为所述语言模型中的经过训练的Word Embedding层和Bi-LSTM层；以及，

识别模块，用于根据训练后的命名实体识别模型对待识别文本中的命名实体进行识别。