[发明专利]一种枸杞虫害跨模态检索数据集的构建方法

权利要求书

1.一种枸杞虫害跨模态检索数据集的构建方法，其特征在于，包括以下步骤：

步骤1、采集基础枸杞虫害图像数据集以及基础枸杞虫害文本数据集；

步骤2、使用图像数据增强技术扩充所述步骤1中建立的所述基础枸杞虫害图像数据集，得到扩充后的枸杞虫害图像数据集；

步骤3、使用文本数据增强技术扩充所述步骤1中建立的所述基础枸杞虫害文本数据集，得到扩充后的枸杞虫害文本数据集；

步骤4、统计所述扩充后的枸杞虫害图像数据集中的图像数据的所属类别，统计所述扩充后的枸杞虫害文本数据集中的文本数据的所属类别，并对类别名称进行数字化处理，构建类别汇总文件；其中，所述类别汇总文件中的每一行代表一个类别，每一行中的数据包括：类别的实际名称以及该类别的数字表示；

步骤5、构建图像-文本对，记录于数据对汇总文件，构成枸杞虫害跨模态检索数据集；

其中，所述步骤1包括：

步骤1.1、通过实地调研拍照、利用仪器扫描相关书籍以及利用网络爬虫技术方式获取枸杞虫害图像数据，按照虫害类别对获取到的图像数据进行区分，形成以虫害类别为判别标准的多个图像数据子集，最终共同构成所述基础枸杞虫害图像数据集；

步骤1.2、充分利用网络渠道并借助专家力量为每类枸杞虫害中所有虫害图片撰写对应的文本描述，按照虫害类别对撰写的所述文本描述进行区分，形成以虫害类别为判别标准的多个文本数据子集，最终共同构成所述基础枸杞虫害文本数据集。

2.如权利要求1所述的枸杞虫害跨模态检索数据集的构建方法，其特征在于，所述步骤2包括：

编写程序，针对所述步骤1中所述基础枸杞虫害图像数据集包含的每一个图像实例，进行垂直翻转以得到新的图像数据，接着将得到的所述图像数据添加到被翻转图像实例所属的图像子集中。

3.如权利要求1所述的枸杞虫害跨模态检索数据集的构建方法，其特征在于，所述步骤2包括：

编写程序，针对所述步骤1中所述基础枸杞虫害图像数据集包含的每一个图像实例，随机调整其亮度以获得新的图像数据，并将得到的所述图像数据添加到被调整亮度图像所属的图像子集中。

4.如权利要求1所述的枸杞虫害跨模态检索数据集的构建方法，其特征在于，所述步骤2包括：

编写程序，同样针对所述步骤1中所述基础枸杞虫害图像数据集包含的每一个图像实例，进行随机裁剪以获得新的图像数据，并将得到的所述图像数据添加到被裁剪图像实例所属的图像子集中。

5.如权利要求1所述的枸杞虫害跨模态检索数据集的构建方法，其特征在于，所述步骤2包括：

编写程序，同样针对所述步骤1中所述基础枸杞虫害图像数据集包含的每一个图像实例，进行随机旋转以获得新的图像数据，并将得到的所述图像数据添加到被旋转图像实例所属的图像子集中。

6.如权利要求1所述的枸杞虫害跨模态检索数据集的构建方法，其特征在于，所述步骤3包括：

采用文本分类任务的简单数据增强方法，针对所述基础枸杞虫害文本数据集包含的每一个文本实例，随机对其中一定比例的单词进行同义词替换以获得新的文本数据，并将得到的所述文本数据添加到被进行同义词替换文本实例所属的文本子集中。

7.如权利要求1所述的枸杞虫害跨模态检索数据集的构建方法，其特征在于，所述步骤3包括：

采用文本分类任务的简单数据增强方法，针对所述基础枸杞虫害文本数据集包含的每一个文本实例，随机抽取其中一定比例的单词，并将这些单词的同义词随机插入到对应文本实例中以获得新的文本数据，接着将得到的所述文本数据添加到被进行同义词插入文本实例所属的文本子集中。

8.如权利要求1所述的枸杞虫害跨模态检索数据集的构建方法，其特征在于，所述步骤3包括：

采用文本分类任务的简单数据增强方法，针对所述基础枸杞虫害文本数据集包含的每一个文本实例，随机交换其中两个单词的位置以获得新的文本数据，将得到的所述文本数据添加到被进行单词交换文本实例所属的文本子集中。