[发明专利]生成文档摘要的方法和装置有效
申请号: | 201610940817.6 | 申请日: | 2016-10-31 |
公开(公告)号: | CN108009135B | 公开(公告)日: | 2021-05-04 |
发明(设计)人: | 张剑;黄石磊 | 申请(专利权)人: | 深圳市北科瑞声科技股份有限公司 |
主分类号: | G06F40/10 | 分类号: | G06F40/10;G06F40/253 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 谢曲曲 |
地址: | 518057 广东省深圳市南山区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 生成 文档 摘要 方法 装置 | ||
1.一种生成文档摘要的方法,所述方法包括:
对文档集进行句子切分得到所述文档集对应的句子集合,并将所述句子集合中每个句子用向量空间模型表示;所述文档集中的文档属于同一主题;
计算所述句子集合中两两句子间的相似度值,并根据预设的相似度阈值,确定所述句子集合中每个句子对应的相似句及相似句数量,并根据所述相似句数量计算得到每个句子对应的重要性得分;
依次获取所述句子集合中的每个句子作为当前处理句,将所述当前处理句的相似句数量与所述当前处理句的所有相似句各自对应的相似句数量加入同一个比较集合中,查找得到所述比较集合的最大值,并将所述比较集合的最大值对应的句子加入多样性参考集合;
获取所述句子集合中的每个句子作为待处理句,如果所述待处理句在所述多样性参考集合中,则在所述句子集合中找到与所述待处理句之间具有最小相似度的第一参考句,根据所述待处理句与所述第一参考句的相似度值计算所述待处理句的多样性得分;
根据所述重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分;
根据所述综合性得分,将所述句子集合中的所有句子进行排序并筛选形成所述主题对应的文档摘要。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述待处理句不在所述多样性参考集合中,则在所述多样性参考集合中找到与所述待处理句之间具有最大相似度的第二参考句,根据所述待处理句与所述第二参考句之间的相似度值计算出所述待处理句的多样性得分。
3.根据权利要求1所述的方法,其特征在于,所述根据所述重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分的计算公式为:
S_S(i)=S_D(i)*S_C(i)
其中,S为所述句子集合,S(i)为S中第i个句子,S_S(i)为S中第i个句子S(i)的综合性得分,S_D(i)为S(i)的重要性得分,S_C(i)为S(i)的多样性得分。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
计算所述句子集合中的每个句子去除停用词之后的有效长度与对应的实际字符长度的比值,作为每一个所述句子的有效内容得分;
所述根据所述重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分的步骤包括:
获取所述有效内容得分,根据所述有效内容得分、重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分。
5.根据权利要求1或4所述的方法,其特征在于,所述方法还包括:
计算所述句子集合中每个句子去除停用词之后的有效长度值与所述有效长度值的最大值的比例,根据预设的第一阈值、第二阈值以及所述比例,计算所述句子集合中每个句子的长度代价得分,所述第一阈值小于所述第二阈值,所述长度代价得分计算公式为:
其中,a为底数且a1,S为所述句子集合,S(i) 为所述集合S中的第i个句子,L1为所述第一阈值,L2为所述第二阈值,且L2>L1,Li为所述第i个句子的有效长度值,Lmax为所述有效长度Li最大值,S_L(i)为所述第i个句子 S(i) 的长度代价得分;
所述根据所述重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分的步骤包括:
获取所述长度代价得分,根据所述长度代价得分、重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市北科瑞声科技股份有限公司,未经深圳市北科瑞声科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610940817.6/1.html,转载请声明来源钻瓜专利网。