[发明专利]一种基于离线深度学习与在线人机协同的目标识别方法

权利要求书

1.一种基于离线深度学习与在线人机协同的目标识别方法，识别小样本未知类目标时，其特征在于利用大数据集上预训练模型结果迁移到小样本目标数据集上，离线学习实现小样本学习进化，同时将深度学习获得的部分特征与人为构建的语义属性进行映射，通过人机协同实现未知类目标识别，同时提供拟人化交互方法。

2.根据权利要求1所述小样本目标迁移学习方法，其特征在于，包括：首先，对大样本数据进行模型训练，获得预训练模型；其次，通过旋转、缩放、迁移、加噪、裁剪、颜色空间转化等方法对小规模样本数据增强，并通过生成对抗模型进一步扩充样本数目；接着在预训练模型的基础上冻结若干层参数，基于扩充后的小样本数据集进行迁移学习微调目标识别模型。

3.根据权利要求1所述未知类目标识别方法，其特征在于，包括：在离线识别模型识别置信率低时，认为是未知类目标，通过提取目标语义特征、映射到用户可以理解的语义空间中，将未知类目标与已知类目标比较，综合异同点提出问题，通过用户反馈实现位置目标类型的识别。

4.根据权利要求1所述人机交互架构设计方法，其特征在于，包括：在人机交互过程中，以物理层控制交互通道硬件设备的接入与接口数据的读取，以特征层获取交互硬件信息输出、数据预处理以及提取相应模式的特征空间表征，以语法层实现各项交互通道特征的翻译功能，语义层检查任务层传递的交互语义信息是否完整，应用层直接面向作战人员，是作战人员实际操作的界面。

5.根据权利要求1或4所述人机交互方法，其特征在于，包括：为用户提供手势、语音、草图、表情等四类交互方式，手势交互结合骨骼信息和深度信息的提取并跟踪手部，使用体感设备进行手势识别的研究和实现；语音交互基于孤立词语音识别系统把语音信号转变成相应的文本或命令；草图交互将某一图形意念强制性地分解，演变为一连串计算机能够接受的概念性指令；表情交互基于光学摄像信号，跟踪脸部标记点快速传达用户信息。