[发明专利]一种序列标注方法、装置及设备

说明书

本发明涉及一种序列标注方法、装置及设备，该方法包括：获取目标领域内目标句子对应的嵌入表示；将嵌入表示输入至目标领域的语言模型中，得到句子特征表示；根据句子特征表示、预训练好的各个源领域的序列标注模型参数和预设的源领域参数学习算法，得到目标领域的序列标注模型参数；将嵌入表示输入采用目标领域的序列标注模型参数的序列标注模型，得到目标句子对应的隐藏状态信息；根据目标句子对应的隐藏状态信息和预设的条件随机场算法，得到目标句子中各个单词对应的标签。相对于现有技术，本申请实现了对多个源领域参数的迁移学习，从中获取到最适合该目标领域的序列标注模型参数，提高目标领域的序列标注的准确性。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种序列标注方法、装置及设备。

背景技术

序列标注是自然语言处理(Natural Language Processing，NLP)中的重要任务，被广泛应用于文本处理等相关领域，例如，分词标注、词性标注、命名实体识别标注、依存句法分析标注、时间序列分析等。

在传统的序列标注方法中，通常要依赖于高质量的注释数据进行有监督学习，这种有监督学习方法可以实现对文本的有效标注，但是，由于在许多的领域中缺乏相关的注释数据，从而难以实现对该领域内的文本进行序列标注，而通过知识迁移学习其他领域的知识，对未知领域的文本进行标注的方式，若领域之间差别较大，共有信息较少，也会影响迁移学习的效果，导致序列标注的准确性较低。

发明内容

为克服相关技术中存在的问题，本发明实施例提供了一种序列标注方法、装置及设备。

根据本发明实施例的第一方面，提供一种序列标注方法，包括如下步骤：

获取p个源领域的训练数据集和目标领域的训练数据集；其中，每个所述源领域的训练数据集中包括训练句子对应的嵌入表示、所述训练句子中各个单词对应的真实标签和所述训练句子对应的真实上下文关系，所述目标领域的训练数据集中包括训练句子对应的嵌入表示和所述训练句子对应的真实上下文关系；

根据第k-1个所述源领域的序列标注模型参数中的共享参数、随机初始化的第k个所述源领域的语言模型参数中的领域参数和预设的参数生成器，得到第k个所述源领域的语言模型参数；其中，所述序列标注模型参数和所述语言模型参数均包括共享参数和领域参数；

将第k个所述源领域的训练句子对应的嵌入表示输入至所述第k个所述源领域的语言模型中，得到第k个所述源领域的语言模型输出的训练句子对应的隐藏状态信息；

根据第k个所述源领域的训练句子对应的隐藏状态信息，得到第k个所述源领域的训练句子对应的真实上下文关系的输出概率；

根据第k个所述源领域的语言模型参数中的共享参数、随机初始化的第k个所述源领域的序列标注模型参数中的领域参数和预设的参数生成器，得到第k个所述源领域的序列标注模型参数；

将第k个所述源领域的训练句子对应的嵌入表示输入至第k个所述源领域的序列标注模型中，得到第k个所述源领域的序列标注模型输出的训练句子对应的隐藏状态信息；

根据第k个所述源领域的训练句子对应的隐藏状态信息和预设的条件随机场算法，得到第k个所述源领域的训练句子中的各个单词对应的真实标签的输出概率；

重复执行上述步骤，直至得到第p个所述源领域的序列标注模型参数之后，根据第p个所述源领域的序列标注模型参数中的共享参数、随机初始化的所述目标领域的语言模型参数中的领域参数和预设的参数生成器，得到所述目标领域的语言模型参数；

将所述目标领域的训练句子对应的嵌入表示输入至所述目标领域的语言模型中，得到所述目标领域的训练句子对应的隐藏状态信息；

根据所述目标领域的训练句子对应的隐藏状态信息，得到所述目标领域的训练句子对应的真实上下文关系的输出概率；