[发明专利]基于通用框架的多任务联邦学习场景识别方法及相关组件

权利要求书

1.一种基于通用框架的多任务联邦学习场景识别方法，其特征在于，包括：

获取每一场景中的数据集，其中数据集为图像数据集和/或视频数据集；

从云端获取当前全局模型参数至每一场景边端，并使用每一场景的数据集进行本地训练，得到对应每一场景的本地模型；

将每一场景的本地模型的参数进行同态加密，并上传至云端；

对每一场景的本地模型的参数进行解密并输出各场景分类结果；

根据当前训练的所述本地模型更新全局模型；

其中，所述从云端获取当前全局模型参数至每一场景边端，并使用每一场景的数据集进行本地训练，得到对应每一场景的本地模型，包括：

对所述图像数据集进行分块并得到图像块，和/或对所述视频数据集进行分段并得到视频段；

对所述图像块和/或视频段进行标注处理，包括按公式对每一所述图像块和/或按公式对每一所述视频段进行序列位置信息编号，并插入对应的分类号，其中X_N表示图像块或视频段，IMG表示图像识别模型，VID表示视频识别模型，Z_cls表示所述图像块或视频段的序列位置信息，E表示数据输入后的嵌入算子，P表示插入所述图像块或视频段的分类信息；

将标注处理后的所述图像块和/或视频段输入通用模型，利用当前全局模型参数，通过交替的方式进行图像识别任务和/或视频识别任务的协同训练，并输出对应每一场景的本地模型。

2.根据权利要求1所述的基于通用框架的多任务联邦学习场景识别方法，其特征在于，所述对所述图像数据集进行分块并得到图像块，包括：

根据公式，将H×W×C格式的图片进行分块，并展平成序列，其中N表示数量，H×W表示图像数据集中的原图像像素，表示原图像分块后的一个图像块的像素，C表示图像的通道数量。

3.根据权利要求1所述的基于通用框架的多任务联邦学习场景识别方法，其特征在于，所述对所述视频数据集进行分段并得到视频段，包括：

根据公式，将格式的视频进行分段，并展平成序列，其中F表示视频数据集的视频帧数，f表示原视频分段后的一个视频段的视频帧数，表示原视频抽帧后的每帧图像的像素，表示每帧图像分块后的一个图像块的像素，N表示数量，C表示图像的通道数量。

4.根据权利要求1所述的基于通用框架的多任务联邦学习场景识别方法，其特征在于，所述将标注处理后的所述图像块和/或视频段输入通用模型，利用当前全局模型参数，通过交替的方式进行图像识别任务和/或视频识别任务的协同训练，并输出对应每一场景的本地模型，包括：

按如下公式进行模型训练：

；

；

其中，Z_l-1表示上一轮训练结果，Z_l表示Z_l-1经过通用模型内L个交互层后的输出结果，表示上一轮训练结果Z_l-1经过交互层中MSA多头自注意力机制后的训练结果，l表示交互层数，，MSA表示多头自注意力机制，MLP表示多层感知器模块，LN表示线性输出；

经过个交互层后，按如下公式输出每一场景的本地模型：

；

其中，表示模型模态包括图像和视频，表示通用模型的不同模态经L个交互层后的图像块或视频段的序列位置信息。

5.根据权利要求1所述的基于通用框架的多任务联邦学习场景识别方法，其特征在于，所述根据当前训练的所述本地模型更新全局模型，包括：

按如下公式更新全局模型：

；

其中，表示第s+1轮的全局模型，表示第s+1轮的本地模型，n_c表示本轮训练中本地模型的数据量，表示参与本轮训练的所有本地模型的总数据量，表示第s轮训练参与更新的用户集合，c表示参与当前更新的其中一个用户，每轮模型更新c会遍历整个集合。