[发明专利]一种基于统一结构生成的通用信息抽取方法及系统

权利要求书

1.一种基于统一结构生成的通用信息抽取方法，其特征在于，包括以下步骤：

构建结构抽取模式引导器，该结构抽取模式引导器包含三种类型的文本片段：信息片段的类型名称、关联关系的类型名称和语法符号，该语法符号用于组合信息片段的类型名称、关联关系的类型名称和待抽取文本；

构建由编码器和解码器组成的统一生成模型，该统一生成模型以待抽取文本与结构抽取模式引导器拼接为输入，通过编码器编码生成向量化表示，再通过解码器预测生成统一的结构化抽取语言表达式，该结构化抽取语言表达式包含信息片段的类型名称、关联关系的类型名称、信息片段和语法符号，该语法符号用于表示信息片段到信息片段的类型名称或关联关系的类型名称的映射；

通过结构映射任务、结构语言模型任务和掩码语言模型任务对统一生成模型进行预训练；该结构映射任务使用由标记序列和结构化记录组成的文本结构平行数据，训练模型学习抽取能力和生成结构化抽取语言表达式的能力；该结构语言模型任务使用由结构化记录组成的结构数据集，训练模型学习生成结构化抽取语言表达式的能力；该掩码语言模型任务使用纯文本数据集训练模型保留文本级别语义的能力；

针对预训练后的统一生成模型，根据预定的抽取数据集，采用交叉熵函数对编码器和解码器的参数进行微调；

在后续使用时，利用微调后的统一生成模型处理与结构抽取模式引导器拼接的待抽取文本，生成统一的结构化抽取语言表达式，再将该结构化抽取语言表达式转化为抽取后的信息记录。

2.如权利要求1所述的方法，其特征在于，结构映射任务在进行模型训练时，为文本结构平行数据中的每一个实例构造负模式，该实例中存在的正模式为实例中存在的抽取模式，构造的负模式为实例中不存在的抽取模式，由负模式和正模式组成为训练用的样本；利用该样本训练统一生成模型，调节编码器和解码器的参数。

3.如权利要求1所述的方法，其特征在于，结构语言模型任务在进行模型训练时，采用自回归形式的交叉熵目标函数进行模型学习，调节解码器的参数。

4.如权利要求1所述的方法，其特征在于，掩码语言模型任务在进行模型训练时，首先对纯文本进行掩码破坏，然后通过统一生成模型预测可补全的片段，调节编码器和解码器的参数。

5.如权利要求1所述的方法，其特征在于，采用拒绝识别的机制对预训练后的统一生成模型进行微调，即在训练过程中加入无法抽取的噪声片段，并在解码时过滤无法抽取的噪声片段。

6.一种基于统一结构生成的通用信息抽取系统，其特征在于，包括：

结构抽取模式引导器，包含三种类型的文本片段：信息片段的类型名称、关联关系的类型名称和语法符号，该语法符号用于组合信息片段的类型名称、关联关系的类型名称和待抽取文本；该结构抽取模式引导器用于与待抽取文本拼接，作为统一生成模型的输入；

统一生成模型，由编码器和解码器组成，该编码器对待抽取文本与结构抽取模式引导器拼接进行编码，生成向量化表示；该解码器对编码器的输出进行预测，生成统一的结构化抽取语言表达式，再转化为抽取后的信息记录；该结构化抽取语言表达式包含信息片段的类型名称、关联关系的类型名称、信息片段和语法符号，该语法符号用于表示信息片段到信息片段的类型名称或关联关系的类型名称的映射；

其中，通过结构映射任务、结构语言模型任务和掩码语言模型任务对统一生成模型进行预训练；该结构映射任务使用由标记序列和结构化记录组成的文本结构平行数据，训练模型学习抽取能力和生成结构化抽取语言表达式的能力；该结构语言模型任务使用由结构化记录组成的结构数据集，训练模型学习生成结构化抽取语言表达式的能力；该掩码语言模型任务使用纯文本数据集训练模型保留文本级别语义的能力；针对预训练后的统一生成模型，根据预定的抽取数据集，采用交叉熵函数对编码器和解码器的参数进行微调。

7.如权利要求6所述的系统，其特征在于，结构映射任务在进行模型训练时，为文本结构平行数据中的每一个实例构造负模式，该实例中存在的正模式为实例中存在的抽取模式，构造的负模式为实例中不存在的抽取模式，由负模式和正模式组成为训练用的样本；利用该样本训练统一生成模型，调节编码器和解码器的参数。