[发明专利]基于GPT2的云ERP社区生成式问答方法

权利要求书

1.基于GPT2的云ERP社区生成式问答方法，其特征在于，包括以下步骤：

(1)对云ERP社区人工客服数据脱敏与清洗去噪；

(2)建立云ERP社区客服数据驱动服务；

(3)构建基于Transformer的无监督训练；

(4)构建基于Transformer解码器的GPT2模型；

(5)构建基于GPT2的生成式问答模型。

2.根据权利要求1所述的基于GPT2的云ERP社区生成式问答方法，其特征在于，所述脱敏和清洗去噪的算法流程为：首先读取云ERP生态社区中知识库和人工客服会话原始数据，然后添加所需脱敏的敏感信息类别，读取客户信息并设置敏感信息替换规则，在此基础上，对原始数据遍历脱敏得到脱敏后的文本数据；添加待清洗噪声类别、读取所需信息，并设置相应的正则表达式清洗函数，然后遍历数据进行清洗，最后得到脱敏清洗去噪后的知识库三元组以及客服对话数据，并存入数据库。

3.根据权利要求1所述的基于GPT2的云ERP社区生成式问答方法，其特征在于，所述步骤(2)先从数据库中提取出步骤(1)中处理好的云ERP人工客服会话数据，然后提取其中的相关信息，在此基础上建立客服会话数据集，将数据集和提取到的信息进行封装，最后初始化并启动客服数据驱动服务。

4.根据权利要求1所述的基于GPT2的云ERP社区生成式问答方法，其特征在于，所述步骤(3)中给定一个无监督的标记语料库U＝{u₁，...，u_n}，使用标准语言建模目标来最大化以下可能性，如式1：

L₁(U)＝∑_ilogP(u_i|u₁，......，u_k-1；θ) (1)

式中k是上下文窗口的大小，条件概率P使用神经网络建模参数为θ的网络，这些参数是使用随机梯度下降训练的，然后使用多层Transformer解码器作为语言模型，解码器是Transformer的变体，该模型在输入上下文标记上应用多头自注意操作，然后是位置前馈层，以在目标标记上产生输出分布如下式：

m₀＝UW_e+W_p

(2)

式中将n个词的词嵌入W_e加上位置嵌入W_p，输入Transformer中，n个输出分别预测该位置的下一个词，输入用m₀表示，0代表初始输入层，m₀的计算公式能够看出GPT是单向的语言模型，得到m₀后，将m₀依次传入Transformer所有的解码器中，最终得到m_n，最后通过下式：

P(u)＝Softmax(m_nW_e^T) (4)

式中最后将得到的m_n输入softmax函数进行求解，得到最终的无监督预训练结果。