[发明专利]基于序列对抗和先验推理的电子保函自动生成方法及装置

权利要求书

1.一种基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，包括以下步骤：

S101:将获取到的初始训练数据，输入至保函生成模型中的生成器G；

S102:生成器G通过其自注意力编码器接收初始训练数据中的整句输入文本，输出编码器隐向量，隐向量再输入至生成器G内的解码器；

S103:解码器在解码阶段中，根据每次输入的一个字词就预测下一个字词，最终输出为一句完整的用于电子保函部分的语句。

2.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，在步骤S103之后，所述方法还包括：

S104:生成器G将输出结果输入至保函生成模型中的判别器D，对保函生成模型进行训练。

3.根据权利要求2所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，步骤S104具体包括：

判别器D采用EMLo模型，EMLo模型接收生成器G产生的序列化文本，输出维度和现有主题词类型相同的向量，通过Softmax计算每类主题概率，选择最高概率的主题类型与实际主题类型标签对比，通过交叉熵损失反向传播方法同时更新判别器D和生成器G，对保函生成模型进行训练。

4.根据权利要求3所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，判别器D计算损失函数时增加一惩罚项，表示待判别的句子是否包括先验高频词，如果包括，再判断是否按顺序出现，根据其顺序差异做出惩罚，对不符合经验规则的生成句子施加更高的损失。

5.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，生成器G使用ALBERT模型，输入为文本句子与其主题类型标签；ALBERT模型被配置为：经典NLP模型BERT的轻量级优化版本，其通过对输入矩阵进行线性解耦，把原始BERT模型的输入矩阵拆分为两个小矩阵的乘积的方式减小模型参数数量。

6.根据权利要求5所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，步骤S102具体包括：

生成器G首先使用预训练词向量将文本句子中的字词根据分词结果转换为语义数值向量，然后输入至ALBERT模型，通过其自注意力编码器接收整句输入文本，输出编码器隐向量，隐向量再输入至其解码器。

7.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，在步骤S101之前，所述方法还包括：

S100：按建设项目安全风险管理经验，梳理当前建设工程电子保函的主题类型；采集不同主题类型的已有电子保函文件，提取电子保函文件的文本并使用开源中文自然语言处理工具进行预处理，按文本所属主题类别进行标注，作为初始训练数据。

8.一种基于序列对抗和先验推理的电子保函自动生成装置，其特征在于，包括：

数据输入单元，用于将获取到的初始训练数据，输入至保函生成模型中的生成器G；

数据接收单元，用于生成器G通过其自注意力编码器接收初始训练数据中的整句输入文本，输出编码器隐向量，隐向量再输入至生成器G内的解码器；

解码单元，用于解码器在解码阶段中，根据每次输入的一个字词就预测下一个字词，最终输出为一句完整的用于电子保函部分的语句。

9.根据权利要求8所述的基于序列对抗和先验推理的电子保函自动生成装置，其特征在于，所述装置还包括：

训练单元，用于生成器G将输出结果输入至保函生成模型中的判别器D，对保函生成模型进行训练。

10.根据权利要求8所述的基于序列对抗和先验推理的电子保函自动生成装置，其特征在于，所述装置还包括：

数据获取单元，用于按建设项目安全风险管理经验，梳理当前建设工程电子保函的主题类型；采集不同主题类型的已有电子保函文件，提取电子保函文件的文本并使用开源中文自然语言处理工具进行预处理，按文本所属主题类别进行标注，作为初始训练数据。