[发明专利]文本生成方法、装置、设备及存储介质

说明书

本发明涉及数据处理技术领域，公开了一种文本生成方法、装置、设备及存储介质。本发明通过获取预设硬件对应的配置参数，并获取初始文本生成模型的模型存储空间，然后根据配置参数和模型存储空间对初始文本生成模型进行压缩处理，获得压缩后的文本生成模型，再将初始文本输入至压缩后的文本生成模型中，获得目标文本。本发明根据配置参数和模型存储空间对初始文本生成模型进行压缩处理，能够根据预设硬件对应的配置参数对初始文本生成模型中的权重参数进行压缩，得到压缩后的文本生成模型，以实现在小容量的硬件上运行压缩后的模型。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种文本生成方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展，越来越多的准确度高、可利用性强的文本生成模型出现。但这些文本生成模型有一个共同的特点，网络的深度和宽度都越来越大，相应的权重参数也越来越多，从万级参数的模型变为了千亿级参数的模型。这对硬件的内存和显存的要求都很高，在硬件成本需要很大的投入。因此，如何进行文本生成模型的压缩，以实现在小容量的硬件上运行压缩后的模型，成为一个亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种文本生成方法、装置、设备及存储介质，旨在解决如何进行文本生成模型的压缩，以实现在小容量的硬件上运行压缩后的模型的技术问题。

为实现上述目的，本发明提供了一种文本生成方法，所述文本生成方法包括以下步骤：

获取预设硬件对应的配置参数，并获取初始文本生成模型的模型存储空间；

根据所述配置参数和所述模型存储空间对所述初始文本生成模型进行压缩处理，获得压缩后的文本生成模型；

将初始文本输入至所述压缩后的文本生成模型中，获得目标文本。

可选地，所述根据所述配置参数和所述模型存储空间对所述初始文本生成模型进行压缩处理，获得压缩后的文本生成模型的步骤，具体包括：

确定所述配置参数中的显卡容量和显卡数量；

根据所述显卡容量、所述显卡数量以及所述模型存储空间确定压缩方式；

通过所述压缩方式对所述初始文本生成模型进行压缩处理，获得压缩后的文本生成模型。

可选地，所述根据所述显卡容量、所述显卡数量以及所述模型存储空间确定压缩方式的步骤，具体包括：

根据所述显卡容量和所述模型存储空间判断是否需要对所述初始文本生成模型进行压缩处理；

若是，则在所述显卡数量为预设数量时，确定所述压缩方式为直接压缩方式；

在所述显卡数量大于所述预设数量时，确定所述压缩方式为分块压缩方式。

可选地，所述通过所述压缩方式对所述初始文本生成模型进行压缩处理，获得压缩后的文本生成模型的步骤，具体包括：

在所述压缩方式为直接压缩方式时，确定所述初始文本生成模型中的参数信息；

根据所述显卡容量和所述模型存储空间确定参数长度；

根据所述参数长度对所述参数信息进行调整，获得压缩后的文本生成模型。

可选地，所述通过所述压缩方式对所述初始文本生成模型进行压缩处理，获得压缩后的文本生成模型的步骤，具体包括：

在所述压缩方式为分块压缩方式时，确定输入至所述初始文本生成模型的初始文本对应的数据格式；

根据所述数据格式确定模型拆分方式，所述模型拆分方式包括：按行拆分方式和按列拆分方式；

根据所述按行拆分方式或所述按列拆分方式对所述初始文本生成模型进行压缩处理，获得压缩后的文本生成模型。