[发明专利]基于语言模型的问询方法、装置、计算机设备及存储介质有效
申请号: | 202110608950.2 | 申请日: | 2021-06-01 |
公开(公告)号: | CN113327691B | 公开(公告)日: | 2022-08-12 |
发明(设计)人: | 姚海申;孙行智 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G16H80/00 | 分类号: | G16H80/00;G06F16/332;G06F40/35 |
代理公司: | 深圳市世联合知识产权代理有限公司 44385 | 代理人: | 汪琳琳 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 语言 模型 问询 方法 装置 计算机 设备 存储 介质 | ||
1.一种基于语言模型的问询方法,其特征在于,包括下述步骤:
接收多次医患问诊的历史问诊数据,分别基于每次历史问诊数据生成多个样本,其中,一次历史问诊数据包括多轮的患者和医生的对话;
获取预设的医疗知识辅助模型,所述医疗知识辅助模型包括向量转换层、向量组合层、知识编译层、语言模型和知识生成层,基于所述向量转换层对所述样本进行分词操作,获得多个词语,并将所述词语转换为词语向量,对样本的词语进行相对位置编码操作,获得位置向量,根据语境生成所述词语的身份信息向量;
基于所述向量组合层对每个词语的词语向量、位置向量和身份信息向量进行组合,生成所述词语对应的词语综合向量;
基于所述知识编译层分别从预设的知识图谱中生成每个词语对应的子知识图,作为目标知识图,通过静态图注意力机制计算所述目标知识图的图向量,将所述图向量和对应的所述词语综合向量进行拼接操作,获得词语的目标向量;
将所有的词语的目标向量输入至所述语言模型中,获得依照时序输出的多个隐藏状态;
基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算,获得三元组向量,将所述三元组向量与对应的隐藏状态进行拼接,获得目标拼接向量,并对所述目标拼接向量进行解码,获得预测词语,根据时序拼接所述预测词语,获得预测话语;
基于所述预测话语迭代训练所述医疗知识辅助模型,直至所述医疗知识辅助模型收敛,获得训练后的医疗知识辅助模型;
接收待预测医患问诊数据,将所述待预测医患问诊数据输入至所述训练后的医疗知识辅助模型中,获得目标预测结果。
2.根据权利要求1所述的基于语言模型的问询方法,其特征在于,基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算,获得三元组向量的步骤包括:
分别基于每个目标知识图的图向量和所述隐藏状态,计算生成每个隐藏状态时,使用每个目标知识图的概率值,并将数值最高的所述目标知识图的概率值,所对应的目标知识图作为关键知识图;
基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量,获得所述三元组向量。
3.根据权利要求2所述的基于语言模型的问询方法,其特征在于,所述分别基于每个目标知识图的图向量和所述隐藏状态,计算生成隐藏状态时,使用每个目标知识图的概率值的步骤包括:
所述目标知识图的概率值的特征为:其中,表示第一中间值;
所述第一中间值的特征为:其中,T表示矩阵转置,Vb,Wb,Ub表示随机生成的权重矩阵,St表示所述隐藏状态,gi表示所述图向量。
4.根据权利要求2所述的基于语言模型的问询方法,其特征在于,基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量,获得所述三元组向量的步骤包括:
所述三元组向量的特征为:其中,表示所述目标知识图的概率值,表示三元组的概率值,kj表示所述关键知识图中的三元组,
所述三元组的概率值的特征为:其中,表示第二中间值,
所述第二中间值的特征为:其中,Wc表示预设的权重矩阵,St表示所述隐藏状态,T表示矩阵转置。
5.根据权利要求1所述的基于语言模型的问询方法,其特征在于,所述通过静态图注意力机制计算所述目标知识图的图向量的步骤包括:
从生成的所述目标知识图中提取出所有的三元组;
基于注意力机制确定每个三元组的重要性,作为权重;
基于所述权重对所述三元组进行加权求和操作,获得所述图向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110608950.2/1.html,转载请声明来源钻瓜专利网。