[发明专利]文本摘要方法、装置、电子设备和存储介质

说明书

本发明实施例提供一种文本摘要方法和装置，其中方法包括：确定待摘要的多模态数据中的若干个关键文本；将任一关键文本，以及多模态数据中的任一图像输入至文本图像匹配模型，得到文本图像匹配模型输出的任一关键文本和任一图像之间的匹配结果；基于每一关键文本和每一图像之间的匹配结果，确定每一关键文本分别对应的图像；若任一关键文本存在对应图像，则基于该关键文本及其对应的图像，确定该关键文本的摘要文本；否则，基于该关键文本，确定该关键文本的摘要文本；基于每一关键文本的摘要文本，确定多模态数据的摘要文本。本发明实施例提供的方法和装置，提高了后续模型收敛的速度，加强了图像文本融合的针对性，并提高了摘要生成的准确性。

技术领域

本发明涉及自然语言处理技术领域和图像处理技术领域，尤其涉及一种文本摘要方法、装置、电子设备和存储介质。

背景技术

随着互联网的发展，网络上的信息通常呈现多模态化，即同时包括有文本和图片等多种模态下的信息。例如，新闻会在文本中插入相应的图像以提供给阅读者更加直观的新闻感受。因此，如何对包含有不同模态信息的多模态数据进行自动摘要，越来越受到重视。

目前的多模态数据自动摘要方法，包括基于模板的摘要方法和基于编码器解码器的摘要方法。然而，基于模板的摘要方法的图像表达效果不足，且容易丢失图像信息；而基于编码器解码器的摘要方法则会因为基于多模态信息的全部文本信息与图像信息进行特征提取，导致模型无法收敛，且其将全部图像特征，与全部文本特征进行融合，使得生成的摘要准确性欠佳。

发明内容

本发明实施例提供一种文本摘要方法、装置、电子设备和存储介质，用以解决现有摘要方法摘要生成的准确性欠佳的问题。

第一方面，本发明实施例提供一种文本摘要方法，包括：

确定待摘要的多模态数据中的若干个关键文本；

将任一关键文本，以及所述多模态数据中的任一图像输入至文本图像匹配模型，得到所述文本图像匹配模型输出的所述任一关键文本和所述任一图像之间的匹配结果；其中，所述文本图像匹配模型是基于样本多模态数据中的样本关键文本、样本图像，以及所述样本关键文本和所述样本图像之间的样本匹配结果训练得到的；

基于每一关键文本和每一图像之间的匹配结果，确定每一关键文本分别对应的图像；

若任一关键文本存在对应图像，则基于所述任一关键文本及其对应的图像，确定所述任一关键文本的摘要文本；否则，基于所述任一关键文本，确定所述任一关键文本的摘要文本；

基于每一关键文本的摘要文本，确定所述多模态数据的摘要文本。

可选地，所述将任一关键文本，以及所述多模态数据中的任一图像输入至文本图像匹配模型，得到所述文本图像匹配模型输出的所述任一关键文本和所述任一图像之间的匹配结果，具体包括：

将所述任一关键文本输入至所述文本图像匹配模型中的文本特征提取层，得到所述文本特征提取层输出的所述任一关键文本的文本特征向量；

将所述任一图像输入至所述文本图像匹配模型中的图像特征提取层，得到所述图像特征提取层输出的所述任一图像的图像特征向量；

和/或，将所述任一图像的描述文本输入至所述文本图像匹配模型中的描述特征提取层，得到所述描述特征提取层输出的所述任一图像的描述特征向量；

将所述文本特征向量，以及所述图像特征向量和/或所述描述特征向量输入至所述文本图像匹配模型中的文本图像匹配层，得到所述文本图像匹配层输出的所述匹配结果。

可选地，所述将所述文本特征向量，以及所述图像特征向量和/或所述描述特征向量输入至所述文本图像匹配模型中的文本图像匹配层，得到所述文本图像匹配层输出的所述匹配结果，具体包括：