[发明专利]文本标注方法和装置

说明书

本发明公开了一种文本标注方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待标注文本中每一字的词典特征向量；其中，所述词典特征向量中的分量表征该字与该字在待标注文本中的邻接字组成的词语是否为预设词典中的词语；将待标注文本中每一字的词典特征向量和预先获取的嵌入向量输入预先训练完成的文本标注模型，得到每一字对应的标签；其中，所述文本标注模型的训练数据包括多个字的词典特征向量和嵌入向量以及预先为所述多个字确定的标签。该实施方式能够提取待标注文本中每一字的词典特征输入模型来提高模型的泛化能力以及标注准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及文本标注方法和装置。

背景技术

文本标注是自然语言处理中的一项基本任务，指的是为待标注文本中的每一字确定标签，从而为关系抽取等后续任务做铺垫。在现有技术中，一般利用预先训练完成的机器学习模型进行文本标注，模型的输入特征仅采用每一字的嵌入向量，这使得模型训练过程往往因数据不足具有很大难度，同时模型的泛化能力以及标注准确性较差。

发明内容

有鉴于此，本发明实施例提供一种文本标注方法和装置，能够提取待标注文本中每一字的词典特征输入模型来提高模型的泛化能力以及标注准确性。

为实现上述目的，根据本发明的一个方面，提供了一种文本标注方法。

本发明实施例的文本标注方法包括：获取待标注文本中每一字的词典特征向量；其中，所述词典特征向量中的分量表征该字与该字在待标注文本中的邻接字组成的词语是否为预设词典中的词语；将待标注文本中每一字的词典特征向量和预先获取的嵌入向量输入预先训练完成的文本标注模型，得到每一字对应的标签；其中，所述文本标注模型的训练数据包括多个字的词典特征向量和嵌入向量以及预先为所述多个字确定的标签。

可选地，获取待标注文本中每一字的词典特征向量，包括：确定待标注文本中任一字邻域内的邻接字，并将该任一字与至少一个邻接字组成词语；其中，该任一字与至少一个邻接字为待标注文本中连续的字；判断组成的词语是否存在于所述词典中：若是，将该词语赋为第一数值；否则，将该词语赋为第二数值；将每一词语的赋值组成该任一字的词典特征向量。

可选地，所述方法进一步包括：获取待标注文本中每一字的独热编码向量；将所述独热编码向量输入预先训练完成的字向量生成模型，得到待标注文本中每一字的嵌入向量。

可选地，所述文本标注模型包括得分向量生成模型和打分判别模型；以及，将待标注文本中每一字的词典特征向量和预先获取的嵌入向量输入预先训练完成的文本标注模型，得到每一字对应的标签，包括：将待标注文本中每一字的嵌入向量和词典特征向量输入得分向量生成模型，得到每一字的得分向量；其中，得分向量中的每一得分表征该字对应于一个标签的概率；将每一字的得分向量输入打分判别模型，利用打分判别模型为待标注文本的每一种标注方式打分，将分数最高的标注方式确定为待标注文本的标注结果；其中，在待标注文本的每一种标注方式中，待标注文本中的每一字都被分配一个标签。

可选地，得分向量生成模型包括第一特征提取模型、第二特征提取模型和降维模型；以及，将待标注文本中每一字的嵌入向量和词典特征向量输入得分向量生成模型，得到每一字的得分向量，包括：将每一字的嵌入向量输入第一特征提取模型，得到每一字的第一隐状态向量；将每一字的词典特征向量输入第二特征提取模型，得到每一字的第二隐状态向量；将每一字的第一隐状态向量和第二隐状态向量拼接，并将拼接得到的向量输入降维模型，得到每一字的得分向量。

可选地，第一数值为一，第二数值为零；打分判别模型为条件随机场，第一特征提取模型和第二特征提取模型都为双向长短期记忆网络BiLSTM，降维模型为全连接层。

为实现上述目的，根据本发明的另一方面，提供了一种文本标注装置。