[发明专利]一种截断文本的拼接方法、装置及计算机存储介质

说明书

本发明公开了一种截断文本的拼接方法和装置、计算机存储介质及计算设备。该方法包括：构建初始文本生成模型；将任意截断文本输入初始文本生成模型，生成任意截断文本对应的被截断文本，拼接任意截断文本及其对应的被截断文本，得到待判别句子；将待判别句子输入预先训练的句子判别模型，得到判别结果；根据判别结果确定是否对初始文本生成模型的模型参数进行调整，得到目标文本生成模型；将待拼接的截断文本输入目标文本生成模型，生成待拼接的截断文本对应的被截断文本，对待拼接的截断文本及其对应的被截断文本进行拼接。本发明实施例利用目标文本生成模型生成文本，可以提高生成文本的准确性，进而提高截断文本拼接的准确率。

技术领域

本发明涉及文本处理技术领域，尤其是涉及到一种截断文本的拼接方法和装置、计算机存储介质及计算设备。

背景技术

在短信或应用程序的推送信息、网络抓取的用户评论和文章摘要等原始数据中，存在着大量被截断的非完整文本。一般为了文本建模的效果，NLP(Natural LanguageProcessing，自然语言处理)的过程中通常会判断出非完整文本，然后将非完整文本丢弃，这样会造成资源浪费；或者直接采用结合时间和数据提供方标识的规则方法进行拼接，拼接的准确率不高。因此，亟待解决这一技术问题。

发明内容

有鉴于此，本发明提供了一种截断文本的拼接方法和装置、计算机存储介质及计算设备，提高了拼接结果的准确率。

根据本发明的一方面，提供了一种截断文本的拼接方法，包括：

构建初始文本生成模型；

将任意截断文本输入所述初始文本生成模型，生成所述任意截断文本对应的被截断文本，拼接所述任意截断文本及其对应的被截断文本，得到待判别句子；

将所述待判别句子输入预先训练的句子判别模型，得到判别结果；

根据所述判别结果确定是否对所述初始文本生成模型的模型参数进行调整，得到目标文本生成模型；

将待拼接的截断文本输入所述目标文本生成模型，生成所述待拼接的截断文本对应的被截断文本，对所述待拼接的截断文本及其对应的被截断文本进行拼接。

可选地，所述构建初始文本生成模型，包括：

采集中文文本语料；

按照预设比例的概率，对所述中文文本语料中的句子进行截断处理，得到包含截断文本及对应的被截断文本的训练数据对；

利用所述训练数据对对语言模型进行训练，得到初始文本生成模型。

可选地，利用所述训练数据对对语言模型进行训练，得到初始文本生成模型，包括：

采用生成预训练GPT方法将所述训练数据对中的截断文本作为输入，将所述训练数据对中的截断文本对应的被截断文本作为输出，对语言模型进行训练，得到初始文本生成模型。

可选地，根据所述判别结果确定是否对所述初始文本生成模型的模型参数进行调整，得到目标文本生成模型，包括：

若根据所述判别结果确定需要对所述初始文本生成模型的模型参数进行调整，则将调整后的模型作为所述目标文本生成模型；

若根据所述判别结果确定不需要对所述初始文本生成模型的模型参数进行调整，则直接将所述初始文本生成模型作为所述目标文本生成模型。

可选地，对所述待拼接的截断文本及其对应的被截断文本进行拼接之后，所述方法还包括：

将对所述待拼接的截断文本及其对应的被截断文本进行拼接得到的目标句子输入所述句子判别模型，根据判别结果确定是否将所述目标句子作为拼接结果。

可选地，根据判别结果确定是否将所述目标句子作为拼接结果，包括：