[发明专利]一种命名实体确定方法及装置

说明书

本发明公开了一种命名实体确定方法及装置，该方法包括：接收表征待识别命名实体的输入向量；使用LSTM神经网络对输入向量进行双向传递计算，分别确定输入向量的前向信息及后向信息，根据输入向量及其前向信息、后向信息生成第一合并向量；使用RNN神经网络对第一合并向量进行单向传递计算，将第一合并向量中的输入向量及其前向信息、后向信息进行整合，生成第二合并向量；根据预设分类标签索引号对第二合并向量进行概率计算；根据概率计算结果生成带有分类标签索引号的输出结果。通过实施本发明，能够更精确地确定所合并的向量之间的关系，使得在实际应用中，对于输入的文本或自然语言等输入向量的识别准确度较高。

技术领域

本发明涉及机器学习和自然语言处理技术领域，具体涉及一种命名实体确定方法及装置。

背景技术

目前，涉及机器学习和自然语言处理技术领域的神经网络模型主要包括：前馈神经网络模型、循环神经网络模型等。

上述两种神经网络所用的激活函数主要是sigmoid函数，用以将负无穷到正无穷的数映射到0和1之间，并且对这个函数求导的结果是f’(x)＝f(x)(1-f(x))。因此，两个0到1之间的数相乘，得到的结果就会变得很小。神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差就因为乘了很多的小于1的数而越来越小，最终就会趋近于0，从而导致层数比较浅的权重没有更新，从而产生梯度消失。而如果初始化权值过大，前面层会比后面层变化的更快，就会导致权值越来越大，则会产生梯度爆炸的问题。

因此，使用上述的前馈神经网络模型、循环神经网络模型等进行自然语言处理时，并不能克服上述的梯度消失及梯度爆炸的问题，并且，也不能确定各输入向量之间的关系，使得上述的神经网络模型在实际应用中，对于输入的文本或自然语言等输入向量的识别准确度较差。

发明内容

有鉴于此，本发明实施例提供了一种命名实体确定方法及装置，以解决现有技术存在的对于输入的文本或自然语言等输入向量的识别准确度较差的问题。

根据第一方面，本发明实施例提供了一种命名实体确定方法，包括：接收表征待识别命名实体的输入向量；使用LSTM神经网络对所述输入向量进行双向传递计算，分别确定所述输入向量的前向信息及后向信息，根据所述输入向量及其前向信息、后向信息生成第一合并向量；使用RNN神经网络对所述第一合并向量进行单向传递计算，将所述第一合并向量中的输入向量及其前向信息、后向信息进行整合，生成第二合并向量；根据预设分类标签索引号对所述第二合并向量进行概率计算；根据概率计算结果生成带有分类标签索引号的输出结果。本发明实施例中，结合LSTM+RNN的网络架构，基于LSTM神经网络对表征待识别命名实体的输入向量进行双向传递确定的合并向量的前向及后向的词义信息，通过RNN神经网络进行单向传递计算，确定双向传递过程中的合并向量及其前向、后向的词义信息之间的关联关系，而并不仅仅是将两个向量进行简单的堆加合并，这种基于所确定的关联关系进行的概率计算，能够更加准确地对用于待命名实体的分类的文本标签进行预测，进而更加准确的确定待命名实体的类别。

结合第一方面，在第一方面第一实施方式中，根据预设分类标签索引号对所述第二合并向量进行概率计算，包括：分别计算所述第二合并向量属于各所述预设分类标签索引号的概率；所述预设分类标签索引号表示分类标签对应的序号。

结合第一方面，在第一方面第二实施方式中，根据概率计算结果生成带有分类标签索引号的输出结果，包括：比较所述第二合并向量属于各所述预设分类标签索引号的概率的大小；将所述输入向量定义为概率最大的预设分类标签索引号，进行输出。