[发明专利]一种以人为主体的视频景别分析方法和装置

权利要求书

1.一种以人为主体的视频景别分析方法，其特征在于，所述方法包括：

采集图像，并对图像进行景别标注，利用深度学习方法提取图像的人体特征向量，图像的人体特征向量与标注的景别组成一个训练样本，构成训练样本集；

利用所述训练集训练随机森林模型，随机森林模型参数确定后，获得景别分析模型；

读取待分析视频的每一帧图像，利用深度学习方法提取帧图像的人体特征向量，并利用所述景别分析模型基于输入的所述人体特征向量计算输出每一帧图像的景别分类结果。

2.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，对图像进行景别标注包括：

定义景别类型，由镜头语言、剪辑语法定义，根据图像中人体在画面中的占比，将景别分为特写、近景、中景、全景、远景五类，并增加第六个类别为环境，即没有人物、全部为空间环境的画面；根据所述的景别类型，标注每张图像的景别。

3.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，利用深度学习方法提取图像的人体特征向量包括：

通过Mask-RCNN模型检测图像中是否有人，并在图像中框选出人体轮廓；

通过openpose模型识别并标定人体关节点的位置，关节点分别是双眼、双耳、鼻子、颈部、肩部、手肘、手腕、臀部、膝盖、脚踝；

针对框选的人体轮廓和标定的人体关节点，分别为计算人体轮廓在画面中的占比、人体轮廓中心坐标、人体轮廓边缘与画面边缘在四个方向上的距离、人体关节点的坐标，以这些计算结果组成人体特征向量。

4.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，所述利用所述训练集训练随机森林模型包括：

将训练样本输入至随机森林工具函数中进行训练，调整参数，参数确定时，即获得景别分析模型，其中调整的参数包括组成随机森林的决策树的个数、决策树的节点分裂属性和节点决策函数。

5.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，所述视频景别分析方法还包括：对景别分析模型的景别分类结果进行修正。

6.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，所述对景别分析模型的景别分类结果进行修正包括：

对于待分析视频，以20帧为单位将视频分为若干个视频子单元，对于每个视频子单元中每一帧图像的景别进行投票，20帧中票数最多的景别即为该视频子单元的景别；

以视频子单元的景别代表该视频子单元中全部20帧图像的景别，以修正每帧图像的景别计算误差。

7.一种以人为主体的视频景别分析装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述存储器中存有基于随机森林模型构建的景别分析模型，所述处理器执行所述计算机程序时实现以下步骤：

读取待分析视频的每一帧图像，提取帧图像的人体特征向量；

调用所述景别分析模型基于输入的所述人体特征向量计算输出每一帧图像的景别分类结果。

8.如权利要求1所述的以人为主体的视频景别分析装置，其特征在于，所述景别分析模型的构建方法为：

采集图像，并对图像进行景别标注，利用深度学习方法提取图像的人体特征向量，图像的人体特征向量与标注的景别组成一个训练样本，构成训练样本集；

将训练样本输入至随机森林工具函数中进行训练，调整参数，参数确定时，即获得景别分析模型，其中调整的参数包括组成随机森林的决策树的个数、决策树的节点分裂属性和节点决策函数。

9.如权利要求1所述的以人为主体的视频景别分析装置，其特征在于，利用深度学习方法提取图像的人体特征向量包括：

通过Mask-RCNN模型检测图像中是否有人，并在图像中框选出人体轮廓；

通过openpose模型识别并标定人体关节点的位置，关节点分别是双眼、双耳、鼻子、颈部、肩部、手肘、手腕、臀部、膝盖、脚踝；

针对框选的人体轮廓和标定的人体关节点，分别为计算人体轮廓在画面中的占比、人体轮廓中心坐标、人体轮廓边缘与画面边缘在四个方向上的距离、人体关节点的坐标，以这些计算结果组成人体特征向量。