[发明专利]一种融合对抗训练的生成式对话系统

权利要求书

1.一种基于短文本多轮的生成式对话系统，其特征在于使用基于深度学习的GPT的端到端方式，研究针对提高泛化能力的人机智能对话系统，其包括如下：使用投影梯度下降的对抗训练算法来实现在有噪声但不改变语句意思输入的情况下，中文GPT对话模型依旧能给出合理答复，不会产生乱码；最后使用Facal损失函数提高生僻字预测能力，加快训练速度。

2.根据权利要求1所述一种基于投影梯度下降训的对抗训练算法，在微调过程中训练中文GPT对话模型，训练过程中，训练算法的输入是中文GPT对话模型。

3.根据权利要求1所述一种基于投影梯度下降训的对抗训练算法，包含三个部分，第一部分是对输入的字嵌入向量加入对抗扰动，第二部分是恢复字嵌入向量，第三部分恢复梯度；输入x_t添加对抗扰动后为：

x_t+1＝∏_x+λ(x_t+αg(x_t)/||g(x_t)||₂)

其中，扰动半径为ε，α为扰动空间上的步长，λ＝r∈R^d:||r||₂≤ε，g(x_t)为损失函数L的梯度，即：

其中θ为y与x_t之间映射关系的参数，例如：y＝θ·x_t，将中文GPT对话训练模型的输入(源语句和历史对话)表示为S＝x₁,···,x_m，输出的目标语句T(语料库中真实回复语句即标签)为条件概率的乘积：

对于多轮对话，p(T|S)可以改成：

4.根据权利要求1中为了提高生僻字的预测能力，进而加快训练速度，采用Facal损失函数，其公式为：

Facal_Loss＝(1-p(T|S))^G×Loss

其中，超参数G是调节简单样本权重降低速率的因子，Loss为交叉熵损失函数，其公式为：

例如某一个常用字和生僻字的概率分别为0.9和0.1，G＝2，生僻字的Facal损失值是原有损失值的0.81倍，而常用字的Facal损失值是原有损失值的0.01倍，使生僻字的Facal损失值的占比相对提升，梯度更能沿着生僻字的方向下降。