[发明专利]用于处理文本的方法和装置有效
申请号: | 201811455645.9 | 申请日: | 2018-11-30 |
公开(公告)号: | CN109284367B | 公开(公告)日: | 2021-05-18 |
发明(设计)人: | 李磊;陈家泽;陈嘉闽;马维英;华立锋 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F16/34 | 分类号: | G06F16/34;G06F16/35 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 处理 文本 方法 装置 | ||
1.一种用于处理文本的方法,包括:
获取至少一个文本;
对于所述至少一个文本中的文本,确定该文本中的语句的特征;
对于所述至少一个文本中的文本中的语句,将该语句的特征输入预先训练的语句鉴别模型,得到用于表征是否将该语句用于生成新的文本的鉴别结果信息,其中,所述语句鉴别模型用于表征语句的特征与鉴别结果信息之间的对应关系;响应于确定鉴别结果信息表征将该语句用于生成新的文本,将该语句确定为目标语句;
汇总目标语句,得到目标语句集合;
其中,所述方法还包括:
对于目标文本集合中的文本,获取该文本的预设指标,其中,所述预设指标包括以下至少一项:展示量、阅读量、点击量;
按照预设指标由大到小的顺序,选取目标数量的文本,其中,所述目标数量大于1;
将所选取的目标数量的文本确定为所述至少一个文本。
2.根据权利要求1所述的方法,其中,所述方法还包括:
基于所述目标语句集合,生成新的文本。
3.根据权利要求2所述的方法,其中,所述方法还包括:
基于所述目标语句集合,生成文本标题;以及
所述基于所述目标语句集合,生成新的文本,包括:
基于所述目标语句集合和所述文本标题,生成新的文本。
4.根据权利要求1-3中任一所述的方法,其中,所述语句鉴别模型通过以下步骤训练得到:
获取训练样本集合,训练样本包括样本文本和样本文本的标注信息,其中,标注信息用于表征样本文本中的各个语句是否用于生成新的文本;
将所述训练样本集合中的训练样本的样本文本作为输入,将输入的样本文本的标注信息作为期望输出,训练得到所述语句鉴别模型。
5.一种用于处理文本的装置,包括:
文本获取单元,被配置成获取至少一个文本;
特征确定单元,被配置成对于所述至少一个文本中的文本,确定该文本中的语句的特征;
语句鉴别单元,被配置成对于所述至少一个文本中的文本中的语句,将该语句的特征输入预先训练的语句鉴别模型,得到用于表征是否将该语句用于生成新的文本的鉴别结果信息,其中,所述语句鉴别模型用于表征语句的特征与鉴别结果信息之间的对应关系;响应于确定鉴别结果信息表征将该语句用于生成新的文本,将该语句确定为目标语句;
汇总单元,被配置成汇总目标语句,得到目标语句集合;
其中,所述装置还包括:
预设指标获取单元,被配置成对于目标文本集合中的文本,获取该文本的预设指标,其中,所述预设指标包括以下至少一项:展示量、阅读量、点击量;
选取单元,被配置成按照预设指标由大到小的顺序,选取目标数量的文本,其中,所述目标数量大于1;
文本确定单元,被配置成将所选取的目标数量的文本确定为所述至少一个文本。
6.根据权利要求5所述的装置,其中,所述装置还包括:
文本生成单元,被配置成基于所述目标语句集合,生成新的文本。
7.根据权利要求6所述的装置,其中,所述装置还包括:
标题生成单元,被配置成基于所述目标语句集合,生成文本标题;以及
所述文本生成单元被进一步配置成:
基于所述目标语句集合和所述文本标题,生成新的文本。
8.根据权利要求5-7中任一所述的装置,其中,所述语句鉴别模型通过以下步骤训练得到:
获取训练样本集合,训练样本包括样本文本和样本文本的标注信息,其中,标注信息用于表征样本文本中的各个语句是否用于生成新的文本;
将所述训练样本集合中的训练样本的样本文本作为输入,将输入的样本文本的标注信息作为期望输出,训练得到所述语句鉴别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811455645.9/1.html,转载请声明来源钻瓜专利网。