[发明专利]文本向量的获取方法和装置、文本相似度计算方法和装置有效
| 申请号: | 202110457512.0 | 申请日: | 2021-04-27 |
| 公开(公告)号: | CN112989785B | 公开(公告)日: | 2021-09-07 |
| 发明(设计)人: | 陈显玲;刘佳 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
| 主分类号: | G06F40/194 | 分类号: | G06F40/194;G06F40/211;G06K9/62 |
| 代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 李世喆 |
| 地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本 向量 获取 方法 装置 相似 计算方法 | ||
1.文本向量的获取方法,包括:预先根据能够对一种类型文本的含义产生影响的因素,设置对应于该种类型文本的至少两种要素;每一种要素从一个特定的维度体现文本的含义,且每一种要素能够对文本的含义产生影响;
得到待处理的文本;
针对预先设置的对应于待处理文本的文本类型的至少两种要素中的每一种要素,识别出待处理的文本中属于该要素的字符;
利用识别出的属于每一种要素的字符,得到对应于该种要素的向量;
将得到的对应于各个要素的各个向量作为所述文本的向量;
当所述待处理的文本包括用户投诉时,所述对应于待处理文本的文本类型的至少两种要素包括:对象、状态、障碍、诉求及咨询中的任意两种或多种;
当所述待处理的文本包括论文时,所述对应于待处理文本的文本类型的至少两种要素包括:对象、诉求、引用文献、论证工具。
2.根据权利要求1所述的方法,其中,所述识别出待处理的文本中属于该要素的字符,包括:
将所述待处理的文本输入预先训练的第一识别模型;
得到由该第一识别模型输出的属于每一种要素的字符;
其中,所述第一识别模型的训练方法包括:利用被标注过的文本,训练所述第一识别模型;每一个文本的标注方式为:该文本中的各个字符均被标注为属于所述至少两种要素中的至少一种要素。
3.根据权利要求2所述的方法,其中,所述文本中的各个字符均被标注为属于所述至少两种要素中的至少一种要素,包括如下中的至少一项:
该文本中的至少一个关键词被标注为属于所述至少两种要素中的至少一种要素;
该文本中的至少一个语句的句式被标注为属于所述至少两种要素中的至少一种要素;
该文本中的至少一个带标点符号的字符位置被标注为属于所述至少两种要素中的至少一种要素。
4.根据权利要求1所述的方法,其中,所述识别出待处理的文本中属于该要素的字符,包括:
将所述待处理的文本输入预先训练的第二识别模型;
得到由该第二识别模型输出的属于每一种要素的字符;
其中,所述第二识别模型的训练方法包括:利用样本集训练所述第二识别模型,每一个样本集中包括一个文本、针对该文本设置的对应于所述至少两种要素中每一种要素的一对问题及答案。
5.文本相似度的计算方法,包括:
得到第一文本对应的第一向量组;该第一向量组中包括利用权利要求1至4中任一所述方法获取的第一文本对应于各个要素的各个向量;
得到第二文本对应的第二向量组;该第二向量组中包括利用权利要求1至4中任一所述的方法获取的第二文本对应于各个要素的各个向量;
根据第一向量组与第二向量组,确定第一文本与第二文本的相似度。
6.根据权利要求5所述的方法,其中,所述根据第一向量组与第二向量组确定第一文本与第二文本的相似度,包括:
将第一向量组中的各个向量进行加权平均计算,得到对应于第一文本的第一融合向量值;将第二向量组中的各个向量进行加权平均计算,得到对应于第二文本的第二融合向量值;计算第一融合向量值与第二融合向量在向量空间中的距离,根据该距离得到第一文本与第二文本的相似度;
或者,
针对所述至少两种要素中的每一种要素,计算第一向量组中对应于该要素的向量与第二向量组中对应于该要素的向量在向量空间中的距离;对得到的各个距离进行加权平均计算,根据计算出的加权平均结果得到第一文本与第二文本的相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110457512.0/1.html,转载请声明来源钻瓜专利网。





