[发明专利]图文数据处理方法、装置、电子设备及计算机存储介质

权利要求书

1.一种图文数据处理方法，用于自动生成包含文字与图片的图文描述档案，包括：

获取与一目标对象相关的文本素材；

根据所述目标对象的信息获取与该目标对象相关的多个图片素材；

提取图片素材的第一特征信息和文本素材的第二特征信息；

根据所述第一特征信息和所述第二特征信息，判断与所述文本素材相匹配的一或多个图片素材；

组合所述文本素材和相匹配的一或多个图片素材以产生目标对象的图文描述档案。

2.根据权利要求1所述的方法，其中，所述根据所述目标对象的信息获取与该目标对象相关的多个图片素材，包括：

获取一或多个原始图片；

根据所述目标对象的信息，从所述原始图片中获得与所述目标对象相关的多个图片素材，所述图片素材为完整的所述原始图片或所述原始图片中的一部分。

3.根据权利要求2所述的方法，其中，所述根据所述目标对象的信息，从所述原始图片中获得与所述目标对象相关的多个图片素材，包括：

对长度大于或等于长度设定值的所述原始图片进行切分处理，并获得多个切分图片；

以所述切分图片和/或长度小于所述长度设定值的所述原始图片作为候选图片，获取所述候选图片的文字信息；

根据所述文字信息和所述目标对象的信息，从所述候选图片中获取与所述目标对象相关的多个图片素材。

4.根据权利要求3所述的方法，其中，所述提取图片素材的第一特征信息，包括：

获得图像分类模型对所述图片素材的第一分类结果和根据所述图片素材中的文字信息确定的第二分类结果；

根据所述第一分类结果和所述第二分类结果中置信度高的分类结果指示的类别，确定所述第一特征信息，所述第一特征信息用于指示所述图片素材的所属类别。

5.根据权利要求1所述的方法，其中，所述提取文本素材的第二特征信息，包括：

根据所述文本素材中用于描述所述目标对象属性的属性句子，确定所述属性句子对应的所述第二特征信息。

6.根据权利要求1所述的方法，其中，所述根据所述第一特征信息和所述第二特征信息，判断与所述文本素材相匹配的一或多个图片素材，包括：

根据所述文本素材中属性句子对应的第二特征信息，选取第一特征信息和所述第二特征信息的匹配程度大于或等于匹配阈值的图片素材作为第一候选图片素材；

根据所述文本素材的第二特征信息，使用图文匹配模型，从所述图片素材中确定与所述文本素材匹配的图片素材作为第二候选图片素材；

从所述第一候选图片素材和所述第二候选图片素材中选取与所述文本素材的至少部分属性句子匹配的图片素材。

7.根据权利要求6所述的方法，其中，所述根据所述文本素材的第二特征信息，使用图文匹配模型，从所述图片素材中确定与所述文本素材匹配的图片素材作为第二候选图片素材，包括：

根据所述文本素材中属性句子的所述第二特征信息构建问题向量，并根据所述图片素材构建答案向量；

将所述问题向量和各所述答案向量输输入到所述图文匹配模型中，并根据所述图文匹配模型输出的所述答案向量与所述问题向量的匹配度，确定所述文本素材匹配的第二候选图片素材。

8.根据权利要求6所述的方法，其中，所述从所述第一候选图片素材和所述第二候选图片素材中选取与所述文本素材的至少部分属性句子匹配的图片素材，包括：

根据所述第一候选图片素材与所述文本素材中属性句子的匹配程度、所述第二候选图片素材与所述文本素材中属性句子的匹配程度，对所述第一候选图片素材和所述第二候选图片素材进行排序；

根据排序结果，确定与所述文本素材中属性句子匹配的图片素材。