[发明专利]描述文本生成模型的训练方法和装置

权利要求书

1.一种描述文本生成模型的训练方法，其特征在于，该方法包括：

获取训练数据，训练数据包括：结构化数据以及各组结构化数据对应的参考描述文本；

利用预先训练得到的关系提取模型，对训练数据进行预处理，得到参考描述文本对应的数据序列；

利用结构化数据以及参考描述文本对应的数据序列，训练第一序列到序列seq2seq模型；利用第一seq2seq模型输出的第一数据序列和参考描述文本，训练第二seq2seq模型；

利用训练完成的第一seq2seq模型和第二seq2seq模型，得到描述文本生成模型，描述文本生成模型用于针对输入的结构化数据生成描述文本；其中，

利用训练完成的第一seq2seq模型和第二seq2seq模型，得到描述文本生成模型包括：

由训练完成的第一seq2seq模型和第二seq2seq模型中去除第二解码器的部分构成描述文本生成模型。

2.根据权利要求1所述的方法，其特征在于，所述第二seq2seq模型包括第一解码器和第二解码器；

第一解码器用于将编码器针对第一数据序列生成的中间向量，输出描述文本；第二解码器用于将第一解码器对中间向量生成的隐层向量进行重构解码，生成第二数据序列；

训练目标为：最小化第一数据序列与参考描述文本对应的数据序列之间的差异、第一解码器输出的描述文本与参考描述文本之间的差异以及第二数据序列与参考描述文本对应的数据序列之间的差异。

3.根据权利要求1的方法，其特征在于，获取训练数据包括：

从数据源获取结构化数据，并获取针对结构化数据人工标注的参考描述文本；或者，

从数据源获取参考描述文本，并获取针对参考描述文本人工标注的结构化数据；或者，

从数据源获取结构化数据以及该结构化数据对应的参考描述文本。

4.根据权利要求1的方法，其特征在于，所述结构化数据包括各数据记录，所述数据记录包括实体、实体值以及关系标签；

所述对训练数据进行预处理，得到参考描述文本对应的数据序列包括：

将结构化数据与其对应的参考描述文本进行匹配对齐，其中若参考描述文本中的句子包括数据记录中的实体词和实体值，则确认该数据记录与该句子匹配对齐；

依据匹配对齐的结果确定参考描述文本对应的数据序列。

5.根据权利要求4的方法，其特征在于，依据匹配对齐的结果确定参考描述文本对应的数据序列包括：

将匹配对齐的句子分别输入预先训练得到的关系提取模型，得到各句子对应的关系标签；

若句子对应的关系标签与该句子对齐的数据记录中的标签一致，则保留该句子对应的数据记录；否则，利用关系提取模型生成的关系标签修改该句子对应的数据记录；

将参考描述文本最终得到的各数据记录构成参考描述文本对应的数据序列。

6.根据权利要求5的方法，其特征在于，关系提取模型采用以下方式训练得到：

获取包括文本句和对应关系标签的训练数据，文本句包括实体和实体值；

将文本句作为输入、对应关系标签作为输出训练分类模型，得到关系提取模型。

7.根据权利要求2的方法，其特征在于，第一seq2seq模型中采用注意力机制对编码器针对结构化数据生成的中间向量进行加权处理；

第二seq2seq模型中采用注意力机制和拷贝机制对编码器针对第一数据序列生成的中间向量进行加权和拷贝处理，或者采用注意力机制对编码器针对第一数据序列生成的中间向量进行加权处理。

8.根据权利要求2的方法，其特征在于，该方法还包括：

对第二解码器的损失函数进行正则化平滑处理。

9.根据权利要求2的方法，其特征在于，利用训练完成的第一seq2seq模型和第二seq2seq模型，得到描述文本生成模型包括：

由训练完成的第一seq2seq模型和第二seq2seq模型构成描述文本生成模型。