[发明专利]图文数据扩充方法、装置及电子设备

权利要求书

1.一种图文数据扩充方法，其特征在于，包括：

对语料库中的词汇进行编码向量化以获得与所述词汇对应的词汇编码；

对所述词汇编码进行聚类以获得多个词汇聚类集合，其中每个词汇聚类集合包含一个或者多个词汇；

获得与所述多个词汇聚类集合中的每个词汇聚类集合对应的图像集合，其中所述图像集合为与所述词汇聚类集合所包含的一个或者多个词汇对应的图像的集合；

根据所述图像集合中的图像分布情况剔除不合格的词汇集合以获得合格的词汇集合，其中所述词汇集合是所述词汇聚类集合中的词汇的子集；以及

组合所述合格的词汇集合中的任一元素与所述图像集合中的任一元素，以获得扩充的图文数据。

2.根据权利要求1所述的图文数据扩充方法，其特征在于，所述对语料库中的词汇进行编码向量化以获得与所述词汇对应的词汇编码，包括

采用基于word2vector或bert的计算方法来对语料库中的词汇进行编码向量化，并且其中基于word2vector的计算方法采用计数编码方法。

3.根据权利要求1所述的图文数据扩充方法，其特征在于，所述对所述词汇编码进行聚类，包括：

采用选自由以下方法构成的组的聚类方法对所述词汇编码进行聚类以获得多个词汇聚类集合：K均值聚类、均值漂移聚类、基于密度的聚类方法、用高斯混合模型的最大期望聚类、凝聚层次聚类以及图团体检测；

获得所述多个词汇聚类集合中的每个词汇聚类集合的聚类中心，

其中在采用K均值聚类的情况下，将每个词汇聚类集合中的所有词汇的平均值作为所述词汇聚类集合的聚类中心。

4.根据权利要求3所述的图文数据扩充方法，其特征在于，对于除了语料库中的词汇之外的新词汇，所述方法包括：

对所述新词汇进行编码向量化以获得所述新词汇的词汇编码；

分别计算所述新词汇的词汇编码与所述多个词汇聚类集合中的每个词汇聚类集合的聚类中心的距离；以及

将所述新词汇添加到所述距离最小的词汇聚类集合，并且将与所述新词汇对应的图像添加到与所述词汇聚类集合对应的图像集合，以对图文数据进行更新。

5.根据权利要求1所述的图文数据扩充方法，其特征在于，所述获得与所述多个词汇聚类集合中的每个词汇聚类集合对应的图像集合，包括：

获取所述词汇聚类集合中的一个或者多个词汇；

获取与所述词汇对应的图像；以及

将所述词汇聚类集合中的所有词汇对应的图像的集合作为与所述词汇聚类集合对应的图像集合；

其中获取与所述词汇对应的图像包括：

在用户输入所述词汇的情况下，向用户推荐候选图像，并将用户从所述候选图像中选中的图像作为与所述词汇对应的图像。

6.根据权利要求5所述的图文数据扩充方法，其特征在于，所述获取与所述词汇对应的图像，还包括：

统计所述图像集合中每张图像被选中的次数。

7.根据权利要求6所述的图文数据扩充方法，其特征在于，所述根据所述图像集合中的图像分布情况剔除不合格的词汇集合以获得合格的词汇集合，包括：

根据所述图像集合中每张图像被选中的次数，计算所述图像集合的熵，以及

将熵大于预定阈值的图像所对应的词汇剔除以获得合格的词汇集合。

8.根据权利要求1所述的图文数据扩充方法，其特征在于，所述根据所述图像集合中的图像分布情况剔除不合格的词汇集合以获得合格的词汇集合，包括：

获得所述图像集合中的图像的分散度；

确定分散度大于预定阈值的图像；以及

将与所述分散度大于预定阈值的图像对应的词汇集合剔除以获得合格的词汇集合。