[发明专利]一种文本焦点分析方法和系统在审
申请号: | 202111101088.2 | 申请日: | 2021-09-18 |
公开(公告)号: | CN113821639A | 公开(公告)日: | 2021-12-21 |
发明(设计)人: | 吴欣辉;张锐汀 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/216;G06F40/289;G06F40/30 |
代理公司: | 成都七星天知识产权代理有限公司 51253 | 代理人: | 袁春晓 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 焦点 分析 方法 系统 | ||
1.一种文本焦点分析方法,包括:
获取一个或多个文本;
确定所述一个或多个文本包括的至少部分单词对应的至少一个焦点词,并将所述单词替换为对应的所述焦点词,得到所述一个或多个文本对应的一个或多个处理后文本;
获取多个主题类别对应的多个主题表示,所述多个主题表示中的每一个表示多个单词在对应主题类别中的概率分布,所述多个单词至少包括所述至少一个焦点词;
获取每个所述处理后文本关于所述多个主题类别的主题概率分布;
基于所述主题概率分布和所述多个主题表示,得到每个所述文本关于至少一个文本焦点的文本焦点分布,其中,以所述至少一个焦点词作为所述至少一个文本焦点。
2.如权利要求1所述的方法,所述基于所述主题概率分布和所述多个主题表示,得到每个所述文本中关于至少一个文本焦点的文本焦点分布,其中,以所述至少一个焦点词作为所述至少一个文本焦点包括:
对于一个所述焦点词:
基于所述焦点词的多个参考概率之和确定所述焦点词作为所述文本焦点在一个所述文本中的概率;
其中,所述多个参考概率与所述多个主题类别对应,每一个所述参考概率基于第一概率和第二概率的乘积确定;所述第一概率为所述文本对应的所述处理后文本的所述主题概率分布中对应主题类别的概率;所述第二概率为对应所述主题类别对应的所述主题表示中所述焦点词的概率。
3.如权利要求1所述的方法,所述主题概率分布基于主题先验分布确定,所述主题先验分布为狄利克雷(Dirichlet)分布。
4.如权利要求1所述的方法,所述主题表示基于词先验分布确定,所述词先验分布为狄利克雷(Dirichlet)分布。
5.如权利要求1所述的方法,所述获取多个主题类别对应的多个主题表示,以及获取每个所述处理后文本关于所述多个主题类别的主题概率分布包括:
基于所述一个或多个处理后文本,通过主题模型得到所述多个主题类别对应的多个主题表示和每个所述处理后文本关于所述多个主题类别的所述主题概率分布。
6.如权利要求1所述的方法,所述获取多个主题类别对应的多个主题表示,以及获取每个所述处理后文本关于所述多个主题类别的主题概率分布包括:
获取至少一个训练文本,并基于所述至少一个训练文本,通过主题模型得到所述多个主题类别对应的多个主题表示;
基于所述一个或多个处理后文本和获取的所述多个主题表示,通过所述主题模型得到每个所述处理后文本关于所述多个主题类别的所述主题概率分布。
7.如权利要求6所述的方法,所述获取至少一个训练文本包括:
获取至少一个文本语料;
将所述至少一个文本语料中的至少部分单词替换为对应的所述焦点词,得到包括所述至少一个焦点词的所述至少一个训练文本。
8.如权利要求1或7所述的方法,所述单词对应的所述焦点词的确定方法包括:
确定所述单词与所述至少一个焦点词的相似度,基于所述相似度确定与所述单词对应的所述焦点词。
9.一种文本焦点分析系统,包括:
第一获取模块,用于获取一个或多个文本;
文本处理模块,用于确定所述一个或多个文本包括的至少部分单词对应的至少一个焦点词,并将所述单词替换为对应的所述焦点词,得到所述一个或多个文本对应的一个或多个处理后文本;
主题获取模块,用于获取多个主题类别对应的多个主题表示,所述多个主题表示中的每一个表示多个单词在对应主题类别中的概率分布,所述多个单词至少包括所述至少一个焦点词;以及获取每个所述处理后文本关于所述多个主题类别的主题概率分布;
文本焦点分布确定模块,用于基于所述主题概率分布和所述多个主题表示,得到每个所述文本关于至少一个文本焦点的文本焦点分布,其中,以所述至少一个焦点词作为所述至少一个文本焦点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111101088.2/1.html,转载请声明来源钻瓜专利网。