[发明专利]文本处理方法、装置、计算机可读存储介质及电子设备有效
| 申请号: | 202110299495.2 | 申请日: | 2021-03-22 | 
| 公开(公告)号: | CN112800230B | 公开(公告)日: | 2021-06-22 | 
| 发明(设计)人: | 郝梦圆;柴鹰;孙拔群;王奇文 | 申请(专利权)人: | 贝壳找房(北京)科技有限公司 | 
| 主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/335;G06F40/194;G06F40/216;G06Q30/06 | 
| 代理公司: | 北京思源智汇知识产权代理有限公司 11657 | 代理人: | 毛丽琴 | 
| 地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 文本 处理 方法 装置 计算机 可读 存储 介质 电子设备 | ||
1.一种文本处理方法,包括:
获取待处理文本;
对所述待处理文本进行意图分类,得到意图信息序列,其中,所述意图信息序列中的意图信息与所述待处理文本中的句子相对应;
基于预设的统计语言模型,确定所述意图信息序列对应的权重集合,其中,所述权重集合中的权重对应于所述意图信息序列中的意图信息组合,用于表征对应的意图信息组合包括的意图信息的共现概率;
基于所述意图信息序列对应的权重集合,确定所述待处理文本对应的描述评分并输出所述描述评分;
在所述基于预设的统计语言模型,确定所述意图信息序列对应的权重集合之后,所述方法还包括:
从所述意图信息序列对应的权重集合中,确定符合预设条件的权重;
基于所述符合预设条件的权重对应的意图信息组合,从所述待处理文本中提取目标句子;
基于提取的目标句子,生成所述待处理文本的摘要。
2.根据权利要求1所述的方法,其中,所述基于所述意图信息序列对应的权重集合,确定所述待处理文本对应的描述评分,包括:
确定所述意图信息序列对应的权重集合的综合权重;
基于所述综合权重,确定所述待处理文本对应的描述评分。
3.据权利要求2所述的方法,其中,所述基于所述综合权重,确定所述待处理文本对应的描述评分,包括:
基于所述综合权重和预先对预设文本集合中的文本的综合权重进行统计的统计数据,确定所述待处理文本的排名;
基于所述排名,确定所述待处理文本的描述评分。
4.根据权利要求1所述的方法,其中,所述基于预设的统计语言模型,确定所述意图信息序列对应的权重集合,包括:
提取预设的至少一个统计语言模型;
将所述意图信息序列输入所述至少一个统计语言模型,得到所述至少一个统计语言模型分别输出的权重集合,其中,所述权重集合中的权重分别对应于所述意图信息序列中的意图信息组合,用于表征对应的意图信息组合包括的意图信息的共现概率;
获取得到的至少一个权重集合分别对应的综合权重;
基于得到的至少一个综合权重的大小,从所述至少一个综合权重中确定目标综合权重,并将所述目标综合权重对应的权重集合确定为所述意图信息序列对应的权重集合。
5.根据权利要求4所述的方法,其中,所述至少一个统计语言模型分别对应于预设的文本类别信息;
所述方法还包括:
将所述目标综合权重对应的文本类别信息确定为所述待处理文本的文本类别信息并输出所述待处理文本的文本类别信息。
6.根据权利要求1所述的方法,其中,所述预设条件包括以下至少一项:大于或等于预设的权重阈值,按照权重的大小进行排序后所在的排位处于预设排位范围内。
7.一种文本处理装置,包括:
获取模块,用于获取待处理文本;
分类模块,用于对所述待处理文本进行意图分类,得到意图信息序列,其中,所述意图信息序列中的意图信息与所述待处理文本中的句子相对应;
第一确定模块,用于基于预设的统计语言模型,确定所述意图信息序列对应的权重集合,其中,所述权重集合中的权重对应于所述意图信息序列中的意图信息组合,用于表征对应的意图信息组合包括的意图信息的共现概率;
第二确定模块,用于基于所述意图信息序列对应的权重集合,确定所述待处理文本对应的描述评分并输出所述描述评分;
所述装置还包括:第四确定模块,用于从所述意图信息序列对应的权重集合中,确定符合预设条件的权重;
提取模块,用于基于所述符合预设条件的权重对应的意图信息组合,从所述待处理文本中提取目标句子;
生成模块,用于基于提取的目标句子,生成所述待处理文本的摘要。
8.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-6任一所述的方法。
9.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-6任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贝壳找房(北京)科技有限公司,未经贝壳找房(北京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110299495.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:医疗托架用激光打标机
 - 下一篇:一种基于多态URL异常访问行为的识别方法
 





