[发明专利]一种基于深度学习的拍摄方法和系统

说明书

技术领域

本发明涉及一种基于深度学习的拍摄方法和系统。

背景技术

摄像机拍摄体育运动、舞蹈表演、瑜伽等活动时，常常不止局限于整体画面的拍摄，还有很多重要的局部特写镜头的拍摄。对于普通人，甚至某些专业摄像师在对当前活动不太熟悉的情况下，对重要特写镜头的拍摄常常是不及时甚至完全错过的，从而导致一些重要的镜头没有进行特别拍摄，使得整个拍摄视频没有突出性，拍摄效果较差。

发明内容

本发明要解决的技术问题是提供一种基于深度学习的拍摄方法和系统，自动识别拍摄的目标对象的热点部位，完成特写镜头的拍摄，节省人力，可以更及时地完成特写镜头的推进，更全面地捕捉目标动作细节，拍出比非专业人士更专业的视频片段。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于深度学习的拍摄方法，该拍摄方法基于具有自动变焦功能的摄像头，包括以下步骤：

开启拍摄镜头进行拍摄，对拍摄画面中的目标对象进行感知，识别目标对象周围的场景，以及目标对象的位置、姿态和行为；

根据预设的热点找寻规则，确定当前拍摄画面中的目标对象上的热点部位；

将目标对象上的热点部位的信息传递给摄像头，引导摄像头对该热点部位完成自动化的特写拍摄。

所述预设的热点找寻规则，具体为：

对预先准备好的若干图像和视频进行标注，构建一个热点感知神经网络数据集。用该热点感知神经网络数据集对热点感知神经网络进行训练，得到热点感知神经网络，通过该热点感知神经网络感知检测目标对象上的热点部位。

所述利用热点感知神经网络感知检测目标对象上的热点部位时，具体还包括：

对拍摄的当前视频帧进行姿态估计；

将当前姿态与预定义姿态进行比对，获取当前姿态所属类别，进而得到相应的候选热点；

获取目标对象的当前肢体运动信息；

根据目标对象的当前肢体运动信息，从相应候选热点中确定当前的拍摄热点。

所述进行姿态估计时，基于深度神经网络进行二维姿态估计，具体为，针对拍摄画面的连续帧序列，通过深度神经网络提取出包含关节点空间信息的特征图以及人体关节点的有效连接信息，进行姿态估计。

获取目标对象的肢体运动信息时，先利用选择好的视频片段的光流信息，基于深度神经网络建立肢体运动模型，根据当前拍摄的一段动态片段，输入肢体运动模型得到目标对象当前的肢体运动信息。

一种基于深度学习的拍摄系统，所述系统包括：

感知识别单元，用于对拍摄画面中的目标对象进行感知，并且识别目标对象周围的场景，以及目标对象的位置、姿态和行为；

热点感知单元，用于在目标对象上找寻和确定热点部位；

控制单元，将热点部位的信息输送到拍摄镜头，并且控制该拍摄镜头进行自动变焦完成对热点部位的特写拍摄。

所述感知识别单元包括人体检测模块、姿态估计模块、行为识别模块和热点检测模块共四个深度神经网络模块，其中人体检测模块用于检测目标对象的位置，姿态估计模块用于估计目标对象的姿态，行为识别模块用于识别目标对象的行为；

人体检测模块分别为姿态估计模块、行为识别模块和热点感知单元提供辅助信息，姿态估计模块分别为行为识别模块和热点感知单元提供辅助信息，行为检测模块为热点感知单元提供辅助信息。

本发明具有以下有益效果：

1、自动化地完成热点的捕捉，并且向拍摄镜头输出热点信息，从而引导摄像头对该部位完成自动化的拍摄，无需专业的摄影人员或特别熟悉拍摄对象领域的人员即可拍摄出效果较佳的视频，节省人力，适合更种人群使用。

2、在特写镜头的拍摄上具有更好的热点定位能力和响应速度。

附图说明

附图1为本发明流程示意图；

附图2为本发明热点确定流程示意图；

附图3为本发明中热点感知过程示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1和2所示，本发明揭示了一种基于深度学习的拍摄方法，该拍摄方法基于具有自动变焦功能的摄像头，包括以下步骤：

开启拍摄镜头进行拍摄，对拍摄画面中的目标对象进行感知，识别目标对象周围的场景，以及目标对象的位置、姿态和行为。

根据预设的热点找寻规则，确定当前拍摄画面中的目标对象上的热点部位。