[发明专利]网络模型训练方法、样本关系类别获取方法、电子设备在审
申请号: | 202110008841.7 | 申请日: | 2021-01-05 |
公开(公告)号: | CN114722887A | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 张奇;孙晋权;王宇 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 赵昀彬 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网络 模型 训练 方法 样本 关系 类别 获取 电子设备 | ||
本发明公开了一种网络模型训练方法、样本关系类别获取方法、电子设备。其中,该方法包括:获取监督数据集,其中,上述监督数据集包括:多个待训练样本;按照上述多个待训练样本的样本关系类别,对上述监督数据集进行聚类处理,得到多个簇;利用上述多个簇对初始网络模型进行迭代训练,得到目标网络模型,其中,上述初始网络模型和上述目标网络模型用于抽取监督关系。本发明解决了现有技术中的关系抽取网络模型对复杂样本的学习能力较低,存在抑制多样性样本学习的技术问题。
技术领域
本发明涉及网络模型训练领域,具体而言,涉及一种网络模型训练方法、样本关系类别获取方法、电子设备。
背景技术
在相关技术中,关系抽取意义重大,该领域中海量资料文献中包含着大量知识,如果能够将这些知识结构化,不仅利于计算机存储,而且可以为下游诸多应用提供便利,例如,检索,问答等应用。
此前,在监督关系抽取这个研究领域的一些研究成果,大部分成果都集中在研究如何让模型在对监督的数据集的学习过程中尽可能少地受到噪音数据的干扰,不管是通过多示例学习选出一个包中后验概率最高的样本代表整个数据集并作为整个包的特征,或是通过注意力机制对数据集内所有样本进行加权,模型总是通过对一个数据集内少数有代表性学习样本的学习来抑制噪音数据的影响。
然而,关系抽取依赖大规模的标注数据,监督虽然能利用已有的知识库自动地生成带标签的实体关系抽取训练数据,但是其生成的数据存在很多的问题,包括之前的研究中广泛涉及的数据集内样本噪音问题以及在本申请文件中首次提出的多样性抑制问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种网络模型训练方法、样本关系类别获取方法、电子设备,以至少解决现有技术中的关系抽取网络模型对复杂样本的学习能力较低,存在抑制多样性样本学习的技术问题。
根据本发明实施例的一个方面,提供了一种网络模型训练方法,包括:获取监督数据集,其中,上述监督数据集包括:多个待训练样本;按照上述多个待训练样本的样本关系类别,对上述监督数据集进行聚类处理,得到多个簇;利用上述多个簇对初始网络模型进行迭代训练,得到目标网络模型,其中,上述初始网络模型和上述目标网络模型用于抽取监督关系。
根据本发明实施例的另一方面,还提供了一种样本关系类别获取方法,包括:获取待预测样本;利用上述待预测样本构造样本特征向量;将上述样本特征向量输入至目标网络模型,输出上述待预测样本对应的样本关系类别,其中,上述目标网络模型利用监督数据集对初始网络模型进行迭代训练来获得,上述监督数据集包括:多个待训练样本,上述监督数据集用于按照上述多个待训练样本的样本关系类别进行聚类处理以得到多个簇,上述多个簇用于对上述初始网络模型进行迭代训练以得到上述目标网络模型,上述初始网络模型和上述目标网络模型用于抽取监督关系。
根据本发明实施例的另一方面,还提供了一种样本关系类别获取方法,包括:接收当前输入的待预测样本;将上述待预测样本发送至服务端;接收来自于上述服务端的上述待预测样本对应的样本关系类别,其中,上述样本关系类别由上述服务端利用目标网络模型来获得,上述目标网络模型利用监督数据集对初始网络模型进行迭代训练来获得,上述监督数据集包括:多个待训练样本,上述监督数据集用于按照上述多个待训练样本的样本关系类别进行聚类处理以得到多个簇,上述多个簇用于对上述初始网络模型进行迭代训练以得到上述目标网络模型,上述初始网络模型和上述目标网络模型用于抽取监督关系;在客户端本地显示上述样本关系类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110008841.7/2.html,转载请声明来源钻瓜专利网。