[发明专利]一种文本信息预测模型的训练方法、装置及设备

权利要求书

1.一种文本信息预测模型的训练方法，包括：

获取训练样本集合，每条训练样本中包括文本内容、问题文本和真实答案标记序列，所述文本内容中包含对问题和答案相关内容的每个字符的标记；

针对任一被选取的训练样本，根据被选取的训练样本中的文本内容，生成文本全文表征向量，以及，根据被选取的训练样本中的问题文本，生成问题表征向量；

根据所述文本全文表征向量和问题表征向量生成合并向量，作为被选取的训练样本的特征值，所述真实答案标记序列作为被选取的训练样本的标签值，采用有监督学习算法对训练样本集合进行训练，得到目标预测模型；

所述目标预测模型以根据文本全文表征向量和问题表征向量生成的合并向量作为输入值，以预测答案标记序列作为输出值，预测答案标记序列中每个标记对应一个字符。

2.如权利要求1所述的方法，所述文本内容中包含对问题和答案相关内容的每个字符的标记，由如下方式预先生成：

确定训练样本的文本内容中关于问题和答案相关内容以及其它内容；

用不同的标记记号分别标记所述问题和答案相关内容的起始字符、中间字符、结尾字符和其它内容的字符。

3.如权利要求1所述的方法，根据被选取的训练样本中的文本内容，生成文本全文表征向量，包括：

将所述被选取的训练样本中的文本内容，按顺序分成多个段落内容；

编码每个段落内容，生成多个段落表征向量；

根据所述多个段落表征向量及其顺序，生成文本全文表征向量。

4.如权利要求1所述的方法，根据所述文本全文表征向量和问题表征向量生成合并向量，包括：

拼接所述文本全文表征向量和问题表征向量，生成合并向量；

或者，将所述文本全文表征向量和问题表征向量作为一个全连接层的输入，生成合并向量。

5.如权利要求1所述的方法，采用有监督学习算法对训练样本集合进行训练，包括：

根据所述文本全文表征向量和问题表征向量，生成符合语义规则的预测答案标记序列；

根据所述符合语义规则的预测答案标记序列和真实答案标记序列的差异，确定预测模型损失函数的损失值，以进行模型训练。

6.一种基于权利要求1至5任一项所述文本信息预测模型的信息预测方法，包括：

获取问题文本和包含问题的答案的文本内容；

根据所述问题文本生成问题表征向量，以及，根据所述文本内容生成文本全文表征向量；

根据文本全文表征向量和问题表征向量生成合并向量，作为所述文本信息预测模型的输入特征值，以使所述文本信息预测模型确定预测答案标记序列，并解码所述预测答案标记序列得到预测答案。

7.一种文本信息预测模型的训练装置，包括：

获取模块，获取训练样本集合，每条训练样本中包括文本内容、问题文本和真实答案标记序列，所述文本内容中包含对问题和答案相关内容的每个字符的标记；

向量生成模块，针对任一被选取的训练样本，根据被选取的训练样本中的文本内容，生成文本全文表征向量，以及，根据被选取的训练样本中的问题文本，生成问题表征向量；

训练模块，根据所述文本全文表征向量和问题表征向量生成合并向量，作为被选取的训练样本的特征值，所述真实答案标记序列作为被选取的训练样本的标签值，采用有监督学习算法对训练样本集合进行训练，得到目标预测模型；

所述目标预测模型以根据文本全文表征向量和问题表征向量生成的合并向量作为输入值，以预测答案标记序列作为输出值，预测答案标记序列中每个标记对应一个字符。

8.如权利要求7所述的装置，还包括标记模块，确定训练样本的文本内容中关于问题和答案相关内容以及其它内容；用不同的标记记号分别标记所述问题和答案相关内容的起始字符、中间字符、结尾字符和其它内容的字符。