[发明专利]问题处理方法、装置、计算机设备和存储介质在审
申请号: | 202010174852.8 | 申请日: | 2020-03-13 |
公开(公告)号: | CN111400470A | 公开(公告)日: | 2020-07-10 |
发明(设计)人: | 费昊;冯晓;王昊;吕进 | 申请(专利权)人: | 深圳市腾讯计算机系统有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06N20/00 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 黄晶晶;李文渊 |
地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 问题 处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种问题处理方法,其特征在于,所述方法包括:
获取问题查询语句;
从预设问题库中,查找与所述问题查询语句匹配的候选问题;
分别将所述问题查询语句与各所述候选问题组成问题组合,输入相似度预测模型中,输出所述问题组合中候选问题与所述问题查询语句之间的相似度;所述相似度预测模型,是将多个数据源的样本问题组合和相应的相似度标签作为训练集,通过多任务迭代训练对基础语言模型的模型参数进行调整后得到的;
选取相似度最高的候选问题,作为与所述问题查询语句匹配的目标问题。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定预设答案库;所述预设答案库中的答案与所述预设问题库中的问题具有对应关系;
从预设答案库中,查找与所述目标问题对应的答案。
3.根据权利要求1所述的方法,其特征在于,所述相似度预测模型的训练步骤包括:
获取训练集;所述训练集,包括来自多个数据源的样本问题组合和所述样本问题组合所对应的相似度标签;
采用所述训练集,对基础语言模型迭代地进行多任务训练,得到相似度预测模型。
4.根据权利要求3所述的方法,其特征在于,所述采用所述训练集,对基础语言模型迭代地进行多任务训练,得到相似度预测模型包括:
针对至少两个基础语言模型中每个基础语言模型,采用所述训练集,对所述基础语言模型迭代地进行多任务训练,得到与所述基础语言模型对应的预测模型;不同所述基础语言模型的处理粒度不同;
根据与各基础语言模型分别对应的所述预测模型,得到相似度预测模型。
5.根据权利要求4所述的方法,其特征在于,所述针对至少两个基础语言模型中每个基础语言模型,采用所述训练集,对所述基础语言模型迭代地进行多任务训练,得到与所述基础语言模型对应的预测模型包括:
采用所述训练集,对第一基础语言模型迭代地进行多任务训练,得到与所述第一基础语言模型对应的预测模型;所述第一基础语言模型,是以字符为处理粒度的基础语言模型;
采用所述训练集,对第二基础语言模型迭代地进行多任务训练,得到与所述第二基础语言模型对应的预测模型;所述第二基础语言模型,是以词为处理粒度的基础语言模型。
6.根据权利要求4所述的方法,其特征在于,所述采用所述训练集,对所述基础语言模型迭代地进行多任务训练,得到与所述基础语言模型对应的预测模型包括:
获取所述基础语言模型所对应的预设超参数;所述预设超参数中包括初始的学习率;
将所述初始的学习率作为当前学习率,并按照所述当前学习率,采用所述训练集,对所述基础语言模型进行当前轮的多任务训练;
在当前轮训练结束后减小所述学习率,并将减小后的学习率作为当前学习率,将下一轮作为当前轮,返回所述对所述基础语言模型进行当前轮的多任务训练,直至达到迭代停止条件,得到与所述基础语言模型对应的预测模型。
7.根据权利要求6所述的方法,其特征在于,所述按照所述当前学习率,采用所述训练集,对所述基础语言模型进行当前轮的多任务训练包括:
将对应多个数据源的训练集,输入至当前轮的基础语言模型进行多任务训练,得到所述训练集中的样本问题组合对应的输出向量;
将同一数据源的样本问题组合所对应的输出向量,输入与所述数据源对应的全连接层,进行全连接处理;
根据全连接处理的结果,确定各所述数据源所对应的子损失函数;
根据各所述子损失函数,确定最终的损失函数;
根据所述损失函数和所述当前学习率,调整所述基础语言模型的模型参数。
8.根据权利要求7所述的方法,其特征在于,所述损失函数,由各子损失函数按照相应权重进行加权求和得到;
所述方法还包括:
确定与所述损失函数中的子损失函数相应的数据源;
针对每个子损失函数相应的数据源,确定所述数据源所对应的全连接层,并根据所述子损失函数,对所述全连接层的参数进行更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010174852.8/1.html,转载请声明来源钻瓜专利网。