[发明专利]中文图文检索方法及中文图文检索的数据处理方法

说明书

本说明书实施例提供中文图文检索方法及中文图文检索的数据处理方法，其中所述中文图文检索方法包括：获取源对象，将源对象输入图文表征组件，对源对象进行特征提取，获得源对象的对象特征，其中，图文表征组件基于样本中文图文对，对图像编码器输出的图像特征和文本编码器输出的文本特征进行对比学习训练得到，利用对象生成组件，基于对象特征进行图文转换，生成源对象对应的目标对象。针对中文图文的多模态检索场景，利用对比学习训练得到的图文表征组件，提升了对图文表征组件的训练效果，充分挖掘图文特征之间的特征相关性，获得更准确的源对象的对象特征，来进行图文转换，生成源对象对应的目标对象，提升了中文图文检索的准确性。

技术领域

本说明书实施例涉及图文检索技术领域，特别涉及一种中文图文检索方法。

背景技术

随着互联网技术的发展，中文互联网的主要形式，已经从出纯文本形式转换为了文本、图片、视频、影音等多模态内容共同展现的形式。基于此，通过某种模态内容来检索得到其他模态的相关内容，显得愈发重要。

目前，在中文检索领域，通过某种模态内容来检索得到其他模态的相关内容，主要是利用不同模态内容之间的特征相关性，训练并应用对应的多模态检索神经网络模型来实现的。

然而，如何训练得到可以准确提取中文文本的文本特征和图像的图像特征的检索模型，并且能准确表征文本特征和图像特征之间的特征相关性，作为基础来进行中文文本和图像之间的检索是未知的，导致检索结果的准确性不足。因此，亟需一种高准确性的中文图文检索方法。

发明内容

有鉴于此，本说明书实施例提供了一种中文图文检索方法。本说明书一个或者多个实施例同时涉及一种中文图文检索的数据处理方法，一种中文图文检索装置，一种中文图文检索的数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种中文图文检索方法，包括：

获取源对象，其中，源对象为源中文文本或源图像；

将源对象输入图文表征组件，对源对象进行特征提取，获得源对象的对象特征，其中，图文表征组件基于样本中文图文对，对图像编码器输出的图像特征和文本编码器输出的文本特征进行对比学习训练得到；

利用对象生成组件，基于对象特征进行图文转换，生成源对象对应的目标对象。

根据本说明书实施例的第二方面，提供了一种中文图文检索的数据处理方法，应用于云侧设备，包括：

获取样本集，其中，样本集包括多个样本中文图文对，样本中文图文对包括样本图像和样本中文文本；

提取任一样本中文图文对中的第一样本数据，其中，第一样本数据为样本图像或样本中文文本；

将第一样本数据输入图文表征组件，对第一样本数据进行特征提取，获得第一样本数据的数据特征，其中，图文表征组件基于预训练中文图文对，对图像编码器输出的图像特征和文本编码器输出的文本特征进行对比学习预训练得到；

利用对象生成组件，基于第一样本数据的数据特征进行图文转换，得到第一样本数据对应的预测数据；

基于预测数据和第二样本数据，对对象生成组件进行训练，获得训练得到的图文检索模型的模型参数，其中，第二样本数据为任一样本中文图文对中第一样本数据以外的另一样本数据，图文检索模型包括图文表征组件和对象生成组件；

向端侧设备发送训练得到的图文检索模型的模型参数。

根据本说明书实施例的第三方面，提供了一种中文图文检索装置，包括：

第一获取模块，被配置为获取源对象，其中，源对象为源中文文本或源图像；