[发明专利]文本摘要方法、装置、电子设备和存储介质

权利要求书

1.一种文本摘要方法，其特征在于，包括：

确定待摘要的多模态数据中的若干个关键文本；其中，任一关键文本包含有若干个多模态数据的文本中的关键句；

将任一关键文本，以及所述多模态数据中的任一图像输入至文本图像匹配模型，得到所述文本图像匹配模型输出的所述任一关键文本和所述任一图像之间的匹配结果；其中，所述文本图像匹配模型是基于样本多模态数据中的样本关键文本、样本图像，以及所述样本关键文本和所述样本图像之间的样本匹配结果训练得到的；

基于每一关键文本和每一图像之间的匹配结果，确定每一关键文本分别对应的图像；

若任一关键文本存在对应图像，则基于所述任一关键文本及其对应的图像的融合结果，生成所述任一关键文本的摘要文本；否则，基于所述任一关键文本，生成所述任一关键文本的摘要文本；

基于每一关键文本的摘要文本，确定所述多模态数据的摘要文本；

所述确定待摘要的多模态数据中的若干个关键文本，具体包括：

将所述多模态数据中任一段落的任一分句输入至关键句分类模型，得到所述关键句分类模型输出的所述任一分句的关键句分类结果；

基于所述任一段落的每一分句的关键句分类结果，确定所述任一段落对应的关键文本。

2.根据权利要求1所述的文本摘要方法，其特征在于，所述将任一关键文本，以及所述多模态数据中的任一图像输入至文本图像匹配模型，得到所述文本图像匹配模型输出的所述任一关键文本和所述任一图像之间的匹配结果，具体包括：

将所述任一关键文本输入至所述文本图像匹配模型中的文本特征提取层，得到所述文本特征提取层输出的所述任一关键文本的文本特征向量；

将所述任一图像输入至所述文本图像匹配模型中的图像特征提取层，得到所述图像特征提取层输出的所述任一图像的图像特征向量；

和/或，将所述任一图像的描述文本输入至所述文本图像匹配模型中的描述特征提取层，得到所述描述特征提取层输出的所述任一图像的描述特征向量；

将所述文本特征向量，以及所述图像特征向量和/或所述描述特征向量输入至所述文本图像匹配模型中的文本图像匹配层，得到所述文本图像匹配层输出的所述匹配结果。

3.根据权利要求2所述的文本摘要方法，其特征在于，所述将所述文本特征向量，以及所述图像特征向量和/或所述描述特征向量输入至所述文本图像匹配模型中的文本图像匹配层，得到所述文本图像匹配层输出的所述匹配结果，具体包括：

将所述文本特征向量，以及所述图像特征向量和/或所述描述特征向量输入至所述文本图像匹配层中的注意力层，得到所述注意力层输出的所述任一关键文本的注意力表示向量；

将所述注意力表示向量，以及所述图像特征向量和/或所述描述特征向量输入至所述文本图像匹配层中的特征匹配层，得到所述特征匹配层输出的所述匹配结果。

4.根据权利要求3所述的文本摘要方法，其特征在于，所述将所述文本特征向量，以及所述图像特征向量和所述描述特征向量输入至所述文本图像匹配层中的注意力层，得到所述注意力层输出的所述任一关键文本的注意力表示向量，具体包括：

将所述文本特征向量、所述图像特征向量以及所述描述特征向量输入至所述注意力层的注意程度计算层，得到所述注意程度计算层输出的所述图像特征向量与所述文本特征向量中每一分词之间的注意程度，以及所述描述特征向量与所述文本特征向量中每一分词之间的注意程度；

将所述图像特征向量与所述文本特征向量中每一分词之间的注意程度，以及所述描述特征向量与所述文本特征向量中每一分词之间的注意程度输入至所述注意力层的注意力表示层，得到所述注意力表示层输出的所述注意力表示向量。

5.根据权利要求3所述的文本摘要方法，其特征在于，所述将所述注意力表示向量，以及所述图像特征向量和所述描述特征向量输入至所述文本图像匹配层中的特征匹配层，得到所述特征匹配层输出的所述匹配结果，具体包括：

将所述图像特征向量和所述描述特征向量输入至所述特征匹配层的图像融合层，得到所述图像融合层输出的所述任一图像的图像融合向量；

将所述注意力表示向量，以及所述任一图像的图像融合向量输入至所述特征匹配层的融合匹配层，得到所述融合匹配层输出的所述匹配结果。