[发明专利]一种文本语言关联关系标注方法和装置

权利要求书

1.一种文本语言关联关系标注方法，其特征在于，包括以下步骤：

1)根据文本语言相关任务的需求，确定至少两种相关联的文本语言的信息抽取子任务；

2)分析文本语料，定义各信息抽取子任务的标签集；

3)联合各信息抽取子任务的标签集，形成复合标注体系；

4)根据复合标注体系对文本语料进行标注；

其中，步骤1)所述信息抽取子任务包括：命名实体识别子任务、命名实体标准化子任务、命名实体关系抽取子任务；

其中，步骤2)对于每个文本语言的信息抽取子任务，定义其在语料上对应的单独标注体系，每个信息抽取子任务对应一种标签集合，包含字符在实体中的位置、实体类型；

其中，步骤3)对有关联关系的信息抽取子任务，联合各信息抽取子任务的标签集，优化各信息抽取子任务的标签中的公共部分，形成复合标注体系，实现多任务的自然融合；

所述优化各信息抽取子任务的标签中的公共部分，包括：

对于命名实体识别与命名实体标准化这两个子任务的标签中都包含字符在实体中的位置信息的情况，在联合这两个子任务的标签时优化这个公共部分，使两个子任务共享实体位置信息。

2.一种采用权利要求1所述方法的文本语言关联关系标注装置，其特征在于，包括：

子任务确定模块，负责根据文本语言相关任务的需求，确定至少两种相关联的文本语言的信息抽取子任务；

标签集定义模块，负责分析文本语料，定义各信息抽取子任务的标签集；

标签联合模块，负责联合各信息抽取子任务的标签集，形成复合标注体系；

标注模块，负责根据复合标注体系对文本语料进行标注。

3.一种支持多任务的机器学习模型一体化训练方法，其特征在于，包括以下步骤：

(1)采用权利要求1所述方法，根据复合标注体系对文本语料进行标注，获得训练数据集与测试数据集；

(2)选定具体的机器学习模型；

(3)在预测阶段，根据复合标注体系对所述机器学习模型根据输入序列进行预测得到的标记序列进行译码，得到最终的标签预测结果；

(4)在所述机器学习模型的训练迭代过程中，在训练数据集上进行优化，同时在测试数据集上进行测试，当测试数据集上的结果下降时，停止训练。

4.如权利要求3所述的方法，其特征在于，通过所述复合标注体系将多个任务完全地融合在一起，实现一体化的训练，无需多阶段的各任务分开训练。

5.如权利要求3所述的方法，其特征在于，所述机器学习模型为传统的机器学习模型或者是基于深度神经网络的深度学习模型，所述传统的机器学习模型包括条件随机场、隐形马尔科夫或者其他基于概率图的模型。

6.如权利要求3所述的方法，其特征在于，所述译码根据就近原则抽取实体关系。

7.一种支持多任务的机器学习模型一体化训练装置，其特征在于，包括：

数据准备模块，负责采用权利要求1所述方法，根据复合标注体系对文本语料进行标注，获得训练数据集与测试数据集；

模型选择模块，负责选定具体的机器学习模型；

译码模块，负责在预测阶段，根据复合标注体系对所述机器学习模型根据输入序列进行预测得到的标记序列进行译码，得到最终的标签预测结果；

训练模块，负责在所述机器学习模型的训练迭代过程中，在训练数据集上进行优化，同时在测试数据集上进行测试，当测试数据集上的结果下降时，停止训练。