[发明专利]文本摘要模型的训练方法及装置在审
| 申请号: | 202210374234.7 | 申请日: | 2022-04-11 |
| 公开(公告)号: | CN114861640A | 公开(公告)日: | 2022-08-05 |
| 发明(设计)人: | 张琳涵;陈谦;邓憧;王雯 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
| 主分类号: | G06F40/258 | 分类号: | G06F40/258;G06F40/205;G06F16/35;G06K9/62 |
| 代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 谭镇 |
| 地址: | 310012 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本 摘要 模型 训练 方法 装置 | ||
1.一种文本摘要模型的训练方法,其特征在于,包括:
获取训练数据集,所述训练数据集包括:至少一个标注摘要样本,所述标注摘要样本关联有至少一个相关文本样本;
从所述标注摘要样本中获取至少一个关键句子,并在与所述标注摘要样本关联的相关文本样本中,获取与所述关键句子匹配的相似句子;
利用所述关键句子与所述相似句子的对应关系训练初始文本摘要模型,获得第一文本摘要模型;
利用所述标注摘要样本与所述相关文本样本的对应关系训练第一文本摘要模型,获得第二文本摘要模型,所述第二文本摘要模型用于根据至少一个相关文本生成摘要文本。
2.根据权利要求1所述的方法,其特征在于,所述利用所述关键句子与所述相似句子的对应关系训练初始文本摘要模型,包括:
将所述相似句子拼接后输入初始文本摘要模型,获得初始文本摘要模型输出的第一句子;
根据所述关键句子、第一句子和预设的第一损失函数对所述初始文本摘要模型的参数进行训练。
3.根据权利要求2所述的方法,其特征在于,所述将所述相似句子拼接后输入初始文本摘要模型,包括:
在所述相似句子拼接后的文本总长度小于或等于预设输入长度阈值的情况下,将所述相似句子拼接后输入所述初始文本摘要模型;
在所述相似句子拼接后的文本总长度大于所述预设输入长度阈值的情况下,从所述相似句子拼接后的文本中截取获得部分文本,并将所述部分文本输入所述初始文本摘要模型,所述部分文本的文本总长度小于或等于所述预设输入长度阈值。
4.根据权利要求1所述的方法,其特征在于,所述从所述标注摘要样本中获取至少一个关键句子,并在与所述标注摘要样本关联的相关文本样本中,获取与所述关键句子匹配的相似句子,包括:
从所述标注摘要样本中获取至少一个关键句子;
计算所述关键句子与所述相关文本样本中的第二句子之间的文本相似度;
按照所述文本相似度的大小对所述第二句子进行排序,并从排序结果中文本相似度最大的一端开始,选取至少一个第二句子作为所述相似句子。
5.根据权利要求4所述的方法,其特征在于,还包括:
在与所述关键句子关联的相似句子拼接后的文本总长度,大于预设输入长度阈值的情况下,减少选取的第二句子的数量,直至与所述关键句子关联的相似句子拼接后的文本总长度,小于或等于所述预设输入长度阈值。
6.根据权利要求1所述的方法,其特征在于,所述相关文本样本具有对应的标注概率值;
所述利用所述标注摘要样本与所述相关文本样本的对应关系训练第一文本摘要模型,包括:
将所述相关文本样本拼接后输入所述第一文本摘要模型,提取所述相关文本样本中的第三句子;
计算所述相关文本样本中的第三句子属于所述标注摘要样本的第一概率值;
根据所述标注概率值、所述第一概率值和预设的第二损失函数对所述第一文本摘要模型的参数进行训练。
7.根据权利要求6所述的方法,其特征在于,还包括:
将至少一个相关文本输入所述第二文本摘要模型,获得所述相关文本中第四句子属于所述摘要文本的第二概率值;
按照所述第二概率值对所述第四句子进行排序,并从排序结果中选取目标第四句子组成摘要文本。
8.根据权利要求7所述的方法,其特征在于,所述从排序结果中选取目标第四句子组成摘要文本,包括:
从所述排序结果中选取目标第四句子;
按照所述第二概率值的大小将所述目标第四句子排序后组成所述摘要文本,所述摘要文本中展示有所述目标第四句子对应的第二概率值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210374234.7/1.html,转载请声明来源钻瓜专利网。





