[发明专利]视频多目标情感度预测方法

说明书

本发明属于视频数据处理技术领域，公开了一种视频多目标情感度预测方法，包括以下步骤：S1，视频中包含多个目标，经过多目标视频解析后，形成多个单目标视频；S2，判断单目标视频时长是否小于x秒，若小于x秒则进入步骤S3，否则进入步骤S4；S3，对单目标视频进行短视频情感度预测，然后进入步骤S5；S4，对单目标视频进行长视频情感度预测，然后进入步骤S5；S5，根据应用场景情感度预测的不同需求，计算综合情感度或者最大情感度。本发明可以追踪视频中的目标，对视频中目标情感度进行准确预测，可以有效定位危险目标。

技术领域

本发明涉及视频数据处理技术领域，特别涉及一种视频多目标情感度预测方法。

背景技术

视频情感(度)预测技术应用场景包括：1)教学视频中有多个学生，预测教学内容的总和关注度；2)公共场所(机场、车站、政府机关)多个人在行走，可能危险分子在靠近，提前安全预警。目前智能AI市场多目标情感(度)预测技术主要还是解析图片，不追踪单个目标的视频，造成视频情感度预测不准确，也难以定位危险目标。因此，如何解决多个目标(人或动物)在视频(图片序列)中的情感度(比如学生注意力或恐怖分子敌意)预测成为一项亟待研究的新课题。

发明内容

本发明针对目前智能AI市场多目标情感度预测技术存在的问题，提出了一种视频多目标情感度预测方法。

为了解决上述技术问题，本发明的技术方案为：

一种视频多目标情感度预测方法，包括以下步骤：

S1，视频中包含多个目标，经过多目标视频解析后，形成多个单目标视频；

S2，判断单目标视频时长是否小于x秒，若小于x秒则进入步骤S3，否则进入步骤S4；

S3，对单目标视频进行短视频情感度预测，然后进入步骤S5；

S4，对单目标视频进行长视频情感度预测，然后进入步骤S5；

S5，根据应用场景情感度预测的不同需求，计算综合情感度或者最大情感度。

优选的，步骤S1包括：

S11，通过设置滑动窗口长度和重叠窗口长度来将多目标视频切分为多个视频片段；

S12，对视频片段，通过多目标跟踪技术，追踪视频片段目标，得到目标的边框序列；

S13，对前后视频片段的目标的边框序列做对比，确认追踪的是否为同一目标，并且增加帧索引；

S14，根据目标边框序列的帧索引从多目标视频中读取对应的帧，分割出每个目标的图片，形成单目标视频。

优选的，步骤S3包括：

S31，读取单目标视频中的每张图片，提取6个视频跟踪属性和3个头部姿势属性，合并形成9维向量；

S32，计算短视频的属性，视频的视线跟踪属性采用偏差和，姿势属性采用标准方差，形成一个9维向量输入到神经网络模型；

S33，对短视频采用深度神经网络模型识别。

优选的，步骤S4包括：

S41，读取单目标视频中的每张图片，提取6个视频跟踪属性和3个头部姿势属性，合并形成9维向量；

S42，将长视频划分成10个视频片段，计算长视频的视频片段的属性，视频的视线跟踪属性采用偏差和，姿势属性采用标准方差，形成一个9维向量输入到神经网络模型；

S43，对长视频采用LSTM多实例学习模型识别。