[发明专利]一种基于多知识融合的小样本视频行为识别方法

说明书

本发明公开了一种基于多知识融合的小样本视频行为识别方法，该方法首先提出多知识融合的思想，通过同时使用深度特征与流形特征，从而增加样本信息量，进而缓解小样本学习样本稀缺的问题。其次，本发明选择数据的流形分布特征，并提出使用表征传播对流形分布进行平滑操作，从而更好的缓解小样本学习中的域偏移与枢纽点问题。最后，为了减少模型的参数量与计算量，本发明基于2D方法构建模型，挖掘2D方法的潜力。在HMDB51和UCF101两个数据集上进行实验，结果表明，本发明方法在“5‑way 1‑shot”任务下表现突出，识别率优于现有的小样本视频行为识别方法，在HMDB51上提高了3.6％，在UCF101上提高了4.6％。

技术领域

本发明涉及小样本视频行为识别方法，特别涉及基于2D方法与多知识融合的小样本视频行为识别方法。

背景技术

人工智能时代的来临，行为识别作为一项重要的基础技术，已经逐渐应用在智能家居、智能监控、人机交互等领域。如今随着通讯技术的发展，网络传输速度越来越快，网络视频用户规模也在逐年增加，视频创作者越来越多，直播行业也十分火热，行为识别技术将给这些领域带来便利，例如将行为识别技术应用到视频审核以及直播监管当中。此外，虚拟现实、自动驾驶等前沿技术也随着5G的应用得以进一步发展，这些技术的继续发展也少不了行为识别技术的支持。

传统的视频行为识别方法依赖大规模且强标记的视频数据集，但是这些视频数据集的获取需要花费大量的人力和物力，难度较大。在现实生活中，很多场景下的视频行为识别任务中带有标注的数据是明显不足的，例如安全领域。因此，如何降低视频行为识别对数据集的要求就显得尤为重要，基于小样本学习的视频行为识别的研究也随之应运而生。人类具有很强的知识迁移的能力，例如一个小孩在了解体育项目时，他只需要浏览几个视频就能区分跳远与跳高两种动作，这就是小样本学习在现实生活中的直观体现。近几年，图像方面的小样本学习研究有不少进展，但在视频方面，由于视频比图片多了时序信息，处理起来更为复杂困难，这给小样本视频行为识别提出了不小的挑战。

目前小样本视频行为识别中主要存在以下主要难点：信息量不足、域偏移与枢纽点问题。 (1)信息量不足问题，指的是小样本学习中的模型迁移到新的数据集时，可供学习的样本数量非常少，进而导致判别信息不足。(2)域偏移问题，是指在更换数据集或者数据模态后，会造成模型的认知偏差。(3)枢纽点问题，其描述是某个点会成为大多数点的最邻近点(即使这个点与其近邻点无关)。

针对小样本视频行为识别中的难点，研究人员从多个方面进行探究。以信息量不足问题为出发点，现有方法的策略是增加数据集样本数量和获取视频时序信息。(1)增加数据集样本数量，为了增加小样本学习中支持集中样本的数量，Fu8等人提出一种扩充数据集的办法，他们使用虚幻引擎(Unreal Engine)制作了一些标准的虚拟动作视频，通过将原视频帧序列中的部分帧替换成与之最相似的虚拟视频帧，从而生成新的视频帧序列，称之为“增强视频”，同时因为替换对象是标准的虚拟视频帧，新视频帧序列与标签的契合度得到了提升。(2)获取时序信息，首先是3D特征提取器的出现，通过同时对多张视频帧图像进行卷积操作提取视频数据中的时序特征，之后为了更加有效的利用是时序信息，出现了时序信息对齐与时序信息增强。此外，有的方法致力于提升模型的效率，旨在构建更为有效的映射模型，如CMN (Compound Memory Network，复合记忆网络)，它是一种基于2D方法的模型，查询集样本将在记忆网络中搜索最邻近类别作为分类结果。

虽然以上方法在小样本视频行为识别上取得了一定的进展，但其方法仍存在不足之处。首先是增加数据集信息量的方法，尽管单个类别的信息总量得到了提升，但是存过过多的冗余信息，同时数据增强的效果也十分有限，真正得到增强的视频数量有限。其次，通过使用 3D特征提取器获取时序信息，模型的网络复杂度大大提升，且要面临巨大的计算压力和资源消耗。CMN使用的是2D特征提取器，极大减小了参数量与运算量，但样本数量少导致记忆网络中存储的类原型判别性较弱，从而影响分类精度。此外，不难发现以往的方法缺少对域偏移与枢纽点问题的关注。

发明内容