[发明专利]一种文本摘要的生成方法、装置、电子设备及存储介质有效
申请号: | 202010745007.1 | 申请日: | 2020-07-29 |
公开(公告)号: | CN111859932B | 公开(公告)日: | 2023-03-31 |
发明(设计)人: | 王千 | 申请(专利权)人: | 上海风秩科技有限公司 |
主分类号: | G06F40/258 | 分类号: | G06F40/258;G06F40/211 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 裴素英 |
地址: | 200333 上海市普陀*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 摘要 生成 方法 装置 电子设备 存储 介质 | ||
1.一种文本摘要的生成方法,其特征在于,所述生成方法包括:
将目标文本包括的多个分句输入到预先训练好的语言模型中,得到每个分句对应的分句矩阵;其中,多个分句对应的分句矩阵组成所述目标文本对应的文本矩阵;
基于所述目标文本中每两个分句分别对应的分句矩阵,计算该两个分句的第一相似度,并基于每两个分句对应的第一相似度,将所述目标文本包括的多个分句聚类为预设个数的分句集合;
针对每个分句集合,基于该分句集合中每个分句对应的分句矩阵,以及所述目标文本对应的文本矩阵,计算每个分句与所述目标文本的第二相似度,并基于每个分句对应的第二相似度,从该分句集合中选取目标分句;
基于所述目标文本中每个分句集合对应的目标分句,生成所述目标文本对应的文本摘要;
所述语言模型通过如下方式确定每个分句对应的分句矩阵;
针对每个分句,提取该分句包括的多个字符,并基于字符与字符向量的映射关系,生成所述多个字符分别对应的字符向量;
针对该分句中的每个字符,根据该字符对应的字符向量和第一权重,以及该分句中其他字符对应的字符向量和第二权重,确定该字符对应的目标字符向量;
基于该分句中每个字符对应的目标字符向量,确定该分句对应的分句矩阵;
所述计算该两个分句的第一相似度的公式具体为:
diff=mat1-mat2;
其中,||A||F代表Frobenius范数,矩阵A为m×n阶的矩阵,ai,j为矩阵A中的任一个元素,mat1和mat2分别用于表征任意两个分句对应的分句矩阵。
2.根据权利要求1所述的文本摘要的生成方法,其特征在于,通过如下方式对所述语言模型进行训练:
将样本分句输入到初始化的语言模型中,获取所述语言模型输出的所述样本分句对应的第一分句矩阵;
对所述第一分句矩阵进行降维处理,得到所述样本分句对应的第二分句矩阵;
针对每两个样本分句,根据该两个样本分句分别对应的第二分句矩阵,对该两个样本分句进行分类,得到该两个样本分句的分类结果;
根据该两个样本分句的分类结果,以及该两个样本分句对应的标准分类结果,对所述语言模型的模型参数进行调节,直至所述分类结果与所述标准分类结果相一致,得到训练好的语言模型。
3.根据权利要求2所述的文本摘要的生成方法,其特征在于,所述针对每两个样本分句,根据该两个样本分句分别对应的第二分句矩阵,对该两个样本分句进行分类,得到该两个样本分句的分类结果,包括:
将每两个样本分句分别对应的第二分句矩阵,输入到预先训练好的第一分类子任务中,得到该两个样本分句的第一分类结果;其中,所述第一分类子任务用于判断该两个样本分句是否来自同一篇文章;
和/或,
将每两个样本分句分别对应的第二分句矩阵,输入到预先训练好的第二分类子任务中,得到该两个样本分句的第二分类结果;其中,所述第二分类子任务用于判断该两个样本分句是否是连续分句;
将所述第一分类结果,和/或所述第二分类结果,确定为该两个样本分句的分类结果。
4.根据权利要求1所述的文本摘要的生成方法,其特征在于,通过如下方式确定所述分句集合的个数:
获取所述目标文本包括的分句的个数,基于分句的个数与分句集合的个数之间的对应关系,确定与所述目标文本对应的分句集合的个数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海风秩科技有限公司,未经上海风秩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010745007.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种位姿渲染方法、装置及介质
- 下一篇:一种提高纸材的强度的纸浆