[发明专利]多标签分类模型的训练方法、图像的多标签分类方法

权利要求书

1.一种多标签分类模型的训练方法，其特征在于，包括：

基于预设的多个分割粒度分割抽样图片，得到多组不同粒度的分割图片序列；

对不同组的分割图片序列进行组合，得到组合图片序列；

对组合图片序列中的组合图片进行拼接，得到拼接图片序列；

将拼接图片序列输入至Transformer模型中，对Transformer模型进行训练。

2.根据权利要求1所述的多标签分类模型的训练方法，其特征在于，方法还包括：

在对样本数据集按照标签类别进行抽样后，对抽样的样本进行检测框标注；

基于检测框与抽样图片的大小关系，确定在预设区间内的分割粒度。

3.根据权利要求2所述的多标签分类模型的训练方法，其特征在于，对不同组的分割图片序列进行组合，得到组合图片序列包括：

对预设区间内的分割粒度进行组合，得到图像分割粒度的组合序列；

按照组合序列的组合方式，对各个组的分割图片进行组合，得到多粒度图片序列。

4.根据权利要求1所述的多标签分类模型的训练方法，其特征在于，将拼接图片序列输入至Transformer模型中，对Transformer模型进行训练包括：

将拼接图片序列输入至Transformer模型的编码器；

将编码器的输出结果输入至前馈层，以对拼接图片序列进行多标签预测，其中，预先将Transformer模型的prediction head去掉，替换成Feed Forward Layer；

将预测的标签进行随机MASK，以对标签组合进行学习，并得到实时损失函数；

基于所述实时损失函数，对Transformer模型的预设参数进行优化。

5.根据权利要求1-4任一项所述的多标签分类模型的训练方法，其特征在于，对组合图片序列中的组合图片进行拼接包括：

对组合图片序列中的各个分割图片序列展平；

在对展平后的分割图片序列进行大小调整后，为每个分割图片序列增加组合内分割图片序列之间相关联的特征，得到待拼接图片序列；

对组合内的待拼接图片序列进行拼接。

6.根据权利要求5所述的多标签分类模型的训练方法，其特征在于，为每个分割图片序列增加组合内分割图片序列之间相关联的特征包括：

基于Transformer模型中的self-Attention结构，提取组合内分割图片序列之间第一相关联特征、以及同一个分割图片序列内不同图片之间的第二相关特征；

为每个分割图片序列增加所述第一相关联特征、以及第二相关联特征。

7.根据权利要求5所述的多标签分类模型的训练方法，其特征在于，在对组合图片序列中的各个分割图片序列展平之后，方法还包括：

基于预设的嵌入向量X_class(vector，dim＝D)、以及拼接图片序列的位置信息参数E_pos，对展平后的分割图片序列进行线性变换，其中嵌入向量X_class、以及位置信息参数E_pos均为可被优化的变量。

8.根据权利要求7所述的多标签分类模型的训练方法，其特征在于，对Transformer模型的预设参数进行优化包括：

对线性变换后的嵌入向量X_class(vector，dim＝D)、以及拼接图片序列的位置信息参数E_pos进行优化。