[发明专利]用于语言模型的处理方法、文本生成方法、装置及介质在审
| 申请号: | 202110057292.2 | 申请日: | 2021-01-15 |
| 公开(公告)号: | CN112818663A | 公开(公告)日: | 2021-05-18 |
| 发明(设计)人: | 熊鹰;王晓晖;陈家泽;李磊 | 申请(专利权)人: | 北京有竹居网络技术有限公司 |
| 主分类号: | G06F40/216 | 分类号: | G06F40/216;G06F40/279 |
| 代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 魏嘉熹 |
| 地址: | 101299 北京市平*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | 本公开实施例涉及一种用于语言模型的处理方法、文本生成方法、装置及介质。其中,语言模型被部署在电子设备中,并且语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作,用于语言模型的处理方法包括:在确定所述融合计算操作即将被执行时,所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令;响应于接收到所述操作指令,所述GPU对所述多个计算操作进行处理。由此,可以有效降低语言模型的处理过程中的CPU和GPU之间的调度开销以及GPU对显存的重复读写开销,从而可以有效提高GPU的计算效率,进而提高语言模型的计算效率,从而有效降低基于语言模型进行文本处理的延迟。 | ||
| 搜索关键词: | 用于 语言 模型 处理 方法 文本 生成 装置 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京有竹居网络技术有限公司,未经北京有竹居网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110057292.2/,转载请声明来源钻瓜专利网。
- 上一篇:一种食品药品检验溶解装置
- 下一篇:一种便携式颈部肌肉锻炼器





