[发明专利]基于文本生成网络生成用户描述文本的方法和装置

权利要求书

1.一种基于文本生成网络生成用户描述文本的方法，所述文本生成网络包括第一编码器、检索模型和解码器，所述方法包括：

将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；

将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；

将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量；

其中，所述方法还包括：

利用第一类样本对所述第一编码器进行模型训练，其中所述第一类样本具有样本用户的各项特征和该样本用户对应的两种分类中的分类标签，在模型训练中基于所述第一编码器得到的编码状态向量对样本用户进行分类；利用第二类样本对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练，所述第二类样本具有样本用户的各项特征和该样本用户对应的样本描述文本，第一类样本的数量大于第二类样本的数量；

所述模型训练包括：

将所述第一类样本和所述第二类样本混合在一起，随机打乱顺序后，按照打乱后的顺序分批次，利用预先设定的总损失函数，确定同一批次的第一类样本和第二类样本的总预测损失，根据所述总预测损失调整所述第一编码器、所述检索模型和所述解码器中的至少一个的参数。

2.如权利要求1所述的方法，其中，所述第一编码器包括基于时序的单向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：

将所述目标用户的各项特征依次作为所述第一编码器各个时刻的输入，将所述第一编码器各个时刻的输出作为所述各初始用户特征向量。

3.如权利要求1所述的方法，其中，所述第一编码器包括基于时序的双向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：

将所述目标用户的各项特征依照第一顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第一特征向量；

将所述目标用户的各项特征依照与所述第一顺序相反的顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第二特征向量；

将对应于同一项特征的第一特征向量和第二特征向量进行组合，作为该项特征的初始用户特征向量。

4.如权利要求1所述的方法，其中，所述对所述各初始用户特征向量基于自注意力机制进行编码，包括：

确定所述各初始用户特征向量分别对应的权重，并根据各权重对所述各初始用户特征向量进行加权求和，得到所述编码状态向量。

5.如权利要求1所述的方法，其中，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量作为初始状态，将上一时刻的解码器输出和所述检索模型上一时刻输出的语义表征向量作为当前时刻的输入，确定当前时刻的输出和隐藏状态，当前时刻的隐藏状态作为当前时刻的输出反馈向量反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。

6.如权利要求1所述的方法，其中，所述总损失函数由第一损失函数和第二损失函数共同确定，所述第一损失函数的函数值根据所述第一类样本分类的概率而确定，所述第二损失函数的函数值根据所述解码器输出的所述第二类样本对应于所述样本描述文本中各个字的概率而确定。