[发明专利]一种多维度行为识别方法

说明书

本发明公开了一种多维度行为识别方法，涉及视频行为识别技术领域。该多维度行为识别方法包括以下步骤：按照业务场景，结合客户需求制定五个维度的配置文、多组人工智能模型数据融合、实际场景中使用的运算优化方法的导入、计算人物维度信息、场景维度信息和物品维度信息、数据上比对、维度融合数据和行为事件上传业务接口，视频数据采样保。该多维度行为识别方法，按业务场景指定视频行为识别的维度定义，并在该维度定义中可以对各维度指标选择特定识别模型，且各个指标识别模型可以有机地融合在一起，而形成的整体数据又是遵循指定的维度定义标准，成为最终行为识别的可理解的输入数据。

技术领域

本发明涉及视频行为识别技术领域，具体为一种多维度行为识别方法。

背景技术

多模态视频理解主要有两大类方法。第一类方法使用现场场景、物体对象、运动状态和音频内容等多模态增加对整个视频的描述，从而更准确地识别该场景中的行为。而第二类方法里，目标是设计一个模型，该模型能够处理上述多模态信号，从而为真正的视频行为识别模型提供有监督的多模态输入数据。视频行为识别中的非常有代表性的方式是两流网络方法，其中包含了视频的空间流和时间流，这种方法基于双流假说，是一个颇具影响力的视觉信息神经处理模型，该处理模型认为人类大脑中拥有两种视觉系统，当视觉信息从枕叶传出后经由两条路径传递，其中参与物体识别的腹流进入颞叶，而参与空间位置信息处理的背流则最终进入顶叶。因而腹流又被称为内容通路，背流又被称为空间通路。空间流以原始视频帧作为输入来捕获视觉外观信息。时间流以一堆光流图像作为输入，捕获视频帧之间的运动信息。

没有针对业务领域和特定场景做细化等能力。对行为识别的物体、场景和动作，都有一个限定的范围。对视频行为识别的要求，范围上是限定的，也就是有限的。但是在识别模型的强壮性(精确度)上的要求，因为是实际使用的原因，就要求至少在90％以上，这个是目前的多模态识别技术不能做到的。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多维度行为识别方法，解决了上述背景技术提到的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种多维度行为识别方法，该多维度行为识别方法包括以下步骤：

S1：按照业务场景，结合客户需求制定五个维度的配置文件，配置文件配置的过程中涉及五组数据，分别包括：每一个数据是否需要识别、识别的具体属性枚举、识别中使用的具体模块的名字及相关参数、同一维度下数据之间细分识别和统一识别关系信息均进行记录。

S2：多组人工智能模型数据融合，S1中的配置文件动态上传到智能设备后，在智能设备上形成多组人工智能模型，且多组人工智能模型按维度进行串联，多个维度上的数据处于融合状态。

S3：实际场景中使用的运算优化方法的导入，计算流程中首先对时空维度和姿势维度做运算，然后再对运算结果采用深度学习跟踪算法，追踪每一个变化的人体和物体，形成多个拥有唯一序列号的人体和物体的时间流数据序列。

S4：计算人物维度信息、场景维度信息和物品维度信息，对于同一序列号的人体和物体，相关维度的数据做更新和补充，并不形成时间数据序列。

S5：数据上比对，对步骤S4的数据同反馈至步骤S3中，步骤S3根据反馈数据调整跟踪算法，且更新时间数据序列。

S6：维度融合数据，以标准的格式，成为最终行为识别模型的输入，并通过模型推理，得出实际场景下的特定行为事件。

S7：行为事件上传业务接口，视频数据采样保存。

优选的，S4中的人物维度进一步的包括：商业分类层、穿戴分类层和年龄/性别/人脸分类层。

优选的，S4中的场景维度进一步的包括：商业分类层、用途分类层和物品相关位置层。