[发明专利]应答模型的训练方法、应答方法、装置、设备及存储介质在审
申请号: | 202110341702.6 | 申请日: | 2021-03-30 |
公开(公告)号: | CN112949758A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 张美伟;李昱;王全礼;张晨;杨占栋 | 申请(专利权)人: | 中国建设银行股份有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F16/36;G06F40/35;G06N3/08 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 应答 模型 训练 方法 装置 设备 存储 介质 | ||
1.一种应答模型的训练方法,其特征在于,包括:
基于知识图谱提取出的实体信息构建意图训练样本;
基于预训练模型构建问答训练样本;
根据所述意图训练样本和所述问答训练样本构建应答模型训练样本;
使用所述应答模型训练样本对预先构建的应答模型进行训练,得到训练好的应答模型。
2.根据权利要求1所述的方法,其特征在于,所述基于知识图谱提取出的实体与实体属性构建意图训练样本,包括:
提取出知识图谱中的实体信息,其中所述实体信息包括实体、实体属性以及实体间的关系;
根据预先设置的意图问题模板和所述实体信息构建所述意图训练样本。
3.根据权利要求2所述的方法,其特征在于,所述根据预先设置的意图问题模板和所述实体信息构建所述意图训练样本,包括:
根据questioni=∏entityi(∑attributei+∑relationi)构建所述意图训练样本,其中,questioni为意图训练样本,entityi为实体,attributei为实体属性,relationi为实体间的关系。
4.根据权利要求1所述的方法,其特征在于,所述应答模型包括特征提取模块、意图识别模块和实体提取模块,所述使用所述应答模型训练样本对预先构建的应答模型进行训练,得到训练好的应答模型,包括:
将所述应答模型训练样本输入至所述特征提取模块中,获得所述特征提取模块输出的样本初始特征;
将所述样本初始特征输入至所述意图识别模块中,得到所述意图识别模块输出的样本意图特征;
将所述应答模型训练样本和所述样本意图特征输入至所述实体提取模块中,得到所述实体提取模块输出的样本实体特征;
根据所述样本意图特征和意图标签确定意图损失值,根据所述样本实体特征和实体标签确定实体损失值,根据所述意图损失值和所述实体损失值确定目标损失值;
以所述目标损失值达到收敛条件为目标,对所述应答模型进行训练。
5.根据权利要求4所述的方法,其特征在于,所述根据所述意图损失值和所述实体损失值确定目标损失值,包括:
将所述意图损失值和所述实体损失值加权求和,得到所述目标损失值。
6.根据权利要求4所述的方法,其特征在于,所述应答模型还包括注意力模块,所述意图识别模块、所述注意力模块和所述实体提取模块顺次连接,在将所述意图训练样本和所述样本意图特征输入至所述实体提取模块中,得到所述实体提取模块输出的样本实体特征之前,还包括:
将所述样本意图特征输入至所述注意力模型中,得到所述注意力模型输出的注意力结果;
相应的,将所述应答模型训练样本和所述样本意图特征输入至所述实体提取模块中,得到所述实体提取模块输出的预测实体之前,包括:
将所述应答模型训练样本和所述注意力结果输入至所述实体提取模块中,得到所述实体提取模块输出的样本实体特征。
7.根据权利要求1所述的方法,其特征在于,还包括:
根据所述意图训练样本中的实体标签数量设置所述意图训练样本对应意图的关联槽位。
8.一种应答方法,其特征在于,包括:
获取待应答信息;
将所述待应答信息输入至预先训练的应答模型中,获得所述应答模型的输出结果,其中,所述应答模型是通过权利要求1-6任一项所述的应答模型的训练方法训练得到的;
根据所述输出结果确定应答信息并输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国建设银行股份有限公司,未经中国建设银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110341702.6/1.html,转载请声明来源钻瓜专利网。