[发明专利]文本生成方法、装置、计算机设备及介质

说明书

本公开关于一种文本生成方法、装置、计算机设备及介质，属于计算机技术领域。本公开实施例中，通过在视频特征提取模型中构建图像特征提取子模型和文本特征提取子模型的双流架构，能够精确地提取到目标视频的图像特征和文本特征，且，通过在视频特征提取模型中设置文本生成子模型，对该目标视频的图像特征和文本特征进行处理，能够输出自注意力分值达到文本生成条件的多个字符，进而基于所输出的多个字符能够自动生成该目标视频的内容描述文本，提供了一种基于文本生成的视频特征提取模型，所生成的内容描述文本包含了丰富的信息量，能够更好的表征该目标视频，提升了视频表征的准确性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种文本生成方法、装置、计算机设备及介质。

背景技术

随着计算机技术和互联网技术的飞速发展，视频处理技术逐渐成为新兴的研究热点。在视频处理技术中，通常需要提取能够表征视频内容的视频特征，进而利用该视频特征来进行视频推荐、视频分类或视频搜索等处理过程。

目前，在提取视频的视频特征时，通常会采用分类器对视频中的图像进行分类，以得到该视频的类别特征。然而，通过视频分类的方式来提取视频特征，所提取到的视频特征所包含的信息量较少，不利于后续视频推荐、视频分类或视频搜索的处理过程。

发明内容

本公开提供一种文本生成方法、装置、计算机设备及介质，提供了一种基于文本生成的视频特征提取模型，所生成的内容描述文本包含了丰富的信息量，能够更好的表征该目标视频。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种文本生成方法，该方法包括：

获取目标视频的图像信息与文本信息；

将该图像信息与该文本信息输入视频特征提取模型，通过该视频特征提取模型的图像特征提取子模型对该图像信息进行特征提取，得到该目标视频的图像特征，通过该视频特征提取模型的文本特征提取子模型对该文本信息进行特征提取，得到该目标视频的文本特征；

通过该视频特征提取模型的文本生成子模型所包括的自注意力层，对该图像特征与该文本特征进行处理，输出自注意力分值达到文本生成条件的多个字符，基于该多个字符生成该目标视频的内容描述文本。

本公开实施例中，通过在视频特征提取模型中构建图像特征提取子模型和文本特征提取子模型的双流架构，能够精确地提取到目标视频的图像特征和文本特征，且，通过在视频特征提取模型中设置文本生成子模型，对该目标视频的图像特征和文本特征进行处理，能够输出自注意力分值达到文本生成条件的多个字符，进而基于所输出的多个字符能够自动生成该目标视频的内容描述文本，提供了一种基于文本生成的视频特征提取模型，所生成的内容描述文本包含了丰富的信息量，能够更好的表征该目标视频，提升了视频表征的准确性。

在一些实施例中，该目标视频的图像信息的获取过程包括下述至少一项：

获取该目标视频的封面图像；或，获取该目标视频内的至少一帧图像。

本公开实施例中，通过获取目标视频的封面图像或目标视频所包括的图像帧，均能够快速获取到目标视频的图像信息，在确保获取图像信息的效率的同时，还丰富了图像信息的类型，提升了获取图像信息的灵活性。

在一些实施例中，该目标视频的文本信息的获取过程包括下述至少一项：

获取该目标视频的描述信息；获取该目标视频的标题信息；获取该目标视频的字幕信息；获取该目标视频的文字识别结果，该文字识别结果为对该目标视频内的至少一帧图像进行文字识别所得到的结果；获取该目标视频的音频识别结果，该音频识别结果为对该目标视频的背景音频进行音频识别所得到的结果。

本公开实施例中，通过获取目标视频的描述信息、标题信息、字幕信息、文字识别结果或音频识别结果，均能够快速获取到目标视频的文本信息，在确保获取文本信息的效率的同时，还丰富了文本信息的类型，提升了获取文本信息的灵活性。