[发明专利]一种融合主题的PGN-GAN文本摘要模型在审
| 申请号: | 202110646495.5 | 申请日: | 2021-06-10 |
| 公开(公告)号: | CN113360601A | 公开(公告)日: | 2021-09-07 |
| 发明(设计)人: | 郭继峰;费禹潇;吕帅;孙文博 | 申请(专利权)人: | 东北林业大学 |
| 主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/34;G06F40/242;G06N3/08 |
| 代理公司: | 暂无信息 | 代理人: | 暂无信息 |
| 地址: | 150040 黑龙*** | 国省代码: | 黑龙江;23 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 融合 主题 pgn gan 文本 摘要 模型 | ||
1.一种融合主题的PGN-GAN文本摘要模型,其特征在于,包括如下步骤:
步骤1:给定文本集合中的每篇文档,利用隐狄利克雷模型得到主题词和主题文档分布
步骤2:在主题分布中选取前k个作为主题词,得到主题词向量
步骤3:将普通编码器的最终隐藏层状态作为主题注意力层的输入,形成复合注意力。
步骤4:生成器将源文本和主题词作为输入,在经过带有复合注意力机制的编码器后将x转变为隐藏状态,搭建指针生成网络和生成对抗网络,鉴别器用来区分文本是机器生成的还是真实样本。
步骤5:将输出向量传入解码器,通过解码器得到最终生成的文本。
2.根据权利要求1所述的一种融合主题的PGN-GAN文本摘要模型,其特征在于,所述步骤1包括如下步骤:
步骤1.1:给定文本集合中的每篇文档,生成一个隐迪利克雷分布模型,得到θm作为主题——文档分布
步骤1.2:每个主题t,依据以β为参数的狄利克雷分布得到分布\varphi_k,即主题词分布。
步骤1.3:利用主题词分布和主题文档分布得到词T_{mn}和w_{mn}
步骤1.4:利用吉布斯采样来进行求解,对于当前文档的每一个词我们随机赋予一个主题编号,随后重新扫描。对于每一个当前词利用吉布斯采样公式来更新他的主题编号,重复以上步骤直到采样收敛,最后统计文档中各词的主题,得到该文档的主题分布。
3.根据权利要求1所述的一种融合主题的PGN-GAN文本摘要模型,其特征在于,所述步骤2包括如下步骤
步骤2.1:利用LDA方法生成主题词后于事先设定的主题中训练出t_1\cdotst_k,选取前n个作为对应文本的主题词。
步骤2.2:利用Word2Vec模型获得每个词语的词向量。
4.根据权利要求1所述的一种融合主题的PGN-GAN文本摘要模型,其特征在于,所述步骤3包括如下步骤。
步骤3.1:将主题词表示为词向量,普通编码器的最终隐藏层状态作为主题注意力层的输入,形成的新编码层。
步骤3.2:生成器首先将源文本作为输入,在使用编码器后将源文本转变为隐藏状态。
步骤3.3:利用注意力机制的原理形成新的主题注意力结果,然后将序列注意力和普通注意力叠加得到输出。
5.根据权利要求1所述的一种融合主题的PGN-GAN文本摘要模型,其特征在于,所述步骤4包括如下步骤。
步骤4.1:搭建指针网络架构:包含有编码器,attention层,解码器
步骤4.2:搭建生成器与判别器,生成器利用已经建立好的指针网络。鉴别器区分文本是机器生成的还是真实样本,使用LSTM网络来进行特征选择,这些特征最后经过sigmoid函数后得到该文本是否为真实样本的概率。
步骤4.3:对于生成器G和判别器D的训练,我们首先固定生成器的权重,对判别器更新权重,随后两方交替迭代直到生成器生成同训练样本相同的分布。
6.根据权利要求1所述的一种融合主题的PGN-GAN文本摘要模型,其特征在于,所述步骤5包括如下步骤。
步骤5.1将主题向量k融入αoj中。
步骤5.2将S4得到的最终解码向量传入解码器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北林业大学,未经东北林业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110646495.5/1.html,转载请声明来源钻瓜专利网。





