[发明专利]用于语言模型的处理方法、文本生成方法、装置及介质

说明书

本公开实施例涉及一种用于语言模型的处理方法、文本生成方法、装置及介质。其中，语言模型被部署在电子设备中，并且语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，用于语言模型的处理方法包括：在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。由此，可以有效降低语言模型的处理过程中的CPU和GPU之间的调度开销以及GPU对显存的重复读写开销，从而可以有效提高GPU的计算效率，进而提高语言模型的计算效率，从而有效降低基于语言模型进行文本处理的延迟。

技术领域

本公开实施例涉及计算机技术领域，具体地，涉及一种用于语言模型的处理方法、文本生成方法、装置及介质。

背景技术

在自然语言生成任务中，通常采用语言模型进行文本预测生成，语言模型的计算量通常比较庞大，给实际的部署执行带来了困难。

相关技术中，通常采用计算图的方式，然而上述过程中，需要使用大量的GPU(Graphics Processing Unit，图形处理器)算子，造成算子调度、显存传输等额外开销，使得语言模型的部署后，基于该语言模型进行文本处理时执行延时较高、可用性较低。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开实施例提供一种用于语言模型的处理方法、文本生成方法、装置及介质。

第一方面，本公开实施例提供一种用于语言模型的处理方法，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述方法包括：

在确定所述融合计算操作即将被执行时，所述电子设备的CPU(CentralProcessing Unit，中央处理器)向GPU发送包含所述多个计算操作的操作指令；

响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

第二方面，本公开实施例提供一种文本生成方法，所述方法包括：

接收待处理文本；

将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；

对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；

分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

第三方面，本公开实施例提供一种用于语言模型的处理装置，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述装置包括：

发送模块，用于在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；

处理模块，用于响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

第四方面，本公开实施例提供一种文本生成装置，所述装置包括：