[发明专利]文本处理方法、装置、计算机可读存储介质和电子设备

说明书

本公开实施例公开了一种文本处理方法、装置、计算机可读存储介质和电子设备，其中，该方法包括：确定待标注文本包括的每个文字的字特征向量；基于预设的至少一个命名实体词语集合，确定待标注文本包括的每个文字的附加特征向量；针对待标注文本包括的每个文字，将该文字的字特征向量和附加特征向量组合为待识别特征向量；将所得到的待识别特征向量输入预先训练的命名实体标注模型，得到待标注文本包括的每个文字的命名实体标注结果。本公开实施例有效地利用了附加特征向量更有针对性地表征文字的命名实体特征，提高了命名实体标注的准确性和效率。

技术领域

本公开涉及自然语言处理技术领域，尤其是一种文本处理方法、装置、计算机可读存储介质和电子设备。

背景技术

命名实体标注问题是自然语言中最常见的问题，常见的命名实体标注问题的解决方案主要包括HMM(Hidden Markov Model，隐马尔可夫模型)，最大熵模型，CRF(Conditional Random Field，条件随机场)模型等。随着深度学习的发展，神经网络模型在序列标注问题中取得了巨大的成果。基于神经网络模型的命名实体标注方法，由于是基于大量的训练样本训练得到的，命名实体标注的准确性更高。通常，如果想要进一步提高命名实体标注的准确率，需要重新获得更多的训练样本，重新训练模型。

发明内容

本公开的实施例提供了一种文本处理方法、装置、计算机可读存储介质和电子设备。

根据本公开实施例的一个方面，提供了一种文本处理方法，包括：确定待标注文本包括的每个文字的字特征向量；基于预设的至少一个命名实体词语集合，确定待标注文本包括的每个文字的附加特征向量；针对待标注文本包括的每个文字，将该文字的字特征向量和附加特征向量组合为待识别特征向量；将所得到的待识别特征向量输入预先训练的命名实体标注模型，得到待标注文本包括的每个文字的命名实体标注结果。

根据本公开实施例的另一个方面，提供了一种文本处理装置，该装置包括：第一确定模块，用于确定待标注文本包括的每个文字的字特征向量；第二确定模块，用于基于预设的至少一个命名实体词语集合，确定待标注文本包括的每个文字的附加特征向量；组合模块，用于针对待标注文本包括的每个文字，将该文字的字特征向量和附加特征向量组合为待识别特征向量；标注模块，用于将所得到的待识别特征向量输入预先训练的命名实体标注模型，得到待标注文本包括的每个文字的命名实体标注结果。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述文本处理方法。

根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：数据处理单元；用于存储处理器可执行指令的存储器；数据处理单元，用于执行上述文本处理方法。

基于本公开上述实施例提供的文本处理方法、装置、计算机可读存储介质及电子设备，通过基于预设的至少一个命名实体词语集合，确定待标注文本包括的每个文字的附加特征向量，再将每个文字的字特征向量和附加特征向量组合为待识别特征向量，最后将所得到的待识别特征向量输入预先训练的命名实体标注模型，得到每个文字的命名实体标注结果，从而有效地利用了附加特征向量更有针对性地表征文字的命名实体特征，提高了命名实体标注的准确性和效率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开所适用的系统图。

图2是本公开一示例性实施例提供的文本处理方法的流程示意图。