[发明专利]一种基于多粒度认知的领域知识库实体识别方法

权利要求书

1.一种基于多粒度认知的领域知识库实体识别方法，其特征在于，包括步骤：

S10，获取对应领域的数据文件，根据这些文件构建语料库，并将语料库分成训练集和测试集；

S20,对训练集数据进行字嵌入处理，获得字嵌入矩阵；

S30,将字嵌入矩阵分别作为实体识别模型中字粒度命名实体识别模块和句子全局粒度实体数量预测模块的输入，分别对两个模块进行训练；将两个粒度的损失函数进行联合，得到最终模型优化目标；

S40,利用获得的实体识别模型对测试集中的样本进行分类，识别该领域知识库实体。

2.根据权利要求1所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，在所述步骤S20中,对训练集数据进行字嵌入处理，获得字嵌入矩阵，包括步骤：

在训练集中随机选取相关文件中的独立句子作为输入，通过预处理构建字表，将句子转化为高维独热编码矩阵，传入字嵌入层；字嵌入层将独热编码矩阵映射为压缩的低维字嵌入矩阵。

3.根据权利要求1所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，所述字粒度命名实体识别模块采用BiLSTM层和CRF层，预测标签序列并标定标签序列，实现字粒度的序列标记任务。

4.根据权利要求3所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，所述全局粒度实体数量预测模块采用BiLSTM结合注意力层，预测实体数量并标定实体数量，实现句子全局粒度的命名实体数量预测任务。

5.根据权利要求1所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，任意选择两个不在测试集中的文件，对于选中的文件进行分词，对分词结果进行人工标注，构建开发集，利用开发集对模型进行优化。

6.根据权利要求5所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，在模型优化的过程中，所述字粒度命名实体识别模块包括步骤：

S311，接收字嵌入矩阵，通过捕捉前后文语义信息，初步获取命名实体识别任务的标签预测概率；

S312，以命名实体识别双向长短记忆网络层的输出为发射矩阵，通过状态转移矩阵进一步修正命名实体识别任务的标签预测概率；

S313，根据分类结果和人工标注结果，计算命名实体识别在开发集上的损失函数值，采取log似然，损失函数值计算公式为：

其中，P_RealPath为在给定观测序列x的条件下真实的目标序列的概率；P₁-P_n为在给定观测序列x的条件下，预测目标序列y_n的概率。

7.根据权利要求6所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，在模型优化的过程中，所述全局粒度实体数量预测模块包括步骤：

S321，接收字嵌入矩阵，通过捕捉前后向语义信息，进一步获取句子的语义特征；

S322，接收实体数量预测双向长短记忆网络层的输出特征矩阵，通过注意力机制获取句子的全局的重要特征信息，最终预测出该句子中包含的实体数量；

S323，根据分类结果和人工标注结果，计算实体数量预测在开发集上的损失函数值，采取交叉熵损失，损失函数值计算公式为：

其中，y为实体数量标定类别张量，为实体数量预测概率张量。

8.根据权利要求7所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，命名实体识别的损失函数Loss1采取log似然，实体数量预测的损失函数Loss2采取交叉熵损失，通过系数d将Loss1与Loss2联合，得到最终模型优化目标：Loss＝Loss1+d*Loss2。

9.根据权利要求8所述的一种基于多粒度认知的领域知识库实体识别方法，其特征在于，所述系数d为超参数，通过建立验证集进行调整。