[发明专利]一种使用深度学习的智能镜头拍摄方法及系统

说明书

技术领域

本发明涉及一种使用深度学习的智能镜头拍摄方法及系统。

背景技术

人们经常会使用摄像机记录生活片段、演出活动、体育赛事等等值得记录或重复观看的场景。在观看记录片时，常常会用慢速播放的方法，来仔细观察其中某些精彩或重要的片段。对这些片段，使用高速摄像机来进行拍摄是非常必要的，否则会导致画面不连续或者漏过一些重要瞬间等问题。而对除此之外的片段的拍摄，如果依然采用高速摄像机进行拍摄，则会占用大量的存储空间。

发明内容

本发明要解决的技术问题是提供一种使用深度学习的智能镜头拍摄方法和系统，自动切换高速拍摄模式和普通拍摄模式，不需要人工操作，同时拥有比人更快的反应速度，避免错过重要瞬间。

为了解决上述技术问题，本发明采取以下技术方案：

一种使用深度学习的智能镜头拍摄方法，包括以下步骤：

开启摄像机镜头进行拍摄，使用深度学习的方法对镜头中的目标对象进行感知，获取目标对象的特征；

使用深度学习的方法对拍摄片段进行检测定位，若检测到当前片段为感兴趣片段时，开启高速拍摄模式，若检测到当前片段为非感兴趣片段时，开启普通拍摄模式，该普通拍摄模式的拍摄速度低于高速拍摄模式。

所检测定位拍摄片段时，对拍摄片段定义一个置信度的预设阈值，若当前拍摄片段的置信度大于阈值，则表明当前拍摄片段为感兴趣片段，开启高速拍摄模式，若当前拍摄片段的置信度小于阈值，则表明当前拍摄片段为非感兴趣片段，开启普通拍摄模式。

所述对目标对象进行感知时，采用卷积神经网络和循环神经网络获取目标对象的空间特征和时序特征，识别目标的特征要素和目标对象周围的场景，特征要素包括位置、姿态和行为，获取特征要素随时间变化而发生改变的信息，获取当前帧图像的置信度。

所述拍摄中的每一帧图像都由相同的卷积神经网络进行空间特征的提取，然后该卷积神经网络输出当前的时序信息，该当前的时序信息与之前的时序信息一起构成时序特征，从而输出当前帧图像的当前片段的置信度，同时将当前的时序信息和之前的时序信息进行累积并输出。

所述深度学习时，首先构建一个包含若干个视频片段的数据集，每一个视频片段都进行感兴趣片段起始时间点和终止时间点的标记，用该数据集训练得到用于深度学习的深度神经网络模型。

一种使用深度学习的智能镜头拍摄系统，所述系统包括：感知单元，用于感知和识别目标对象周围的场景，以及目标对象的特征，该感知单元包括人体检测模块、姿态估计模块、场景感知模块、人体跟踪模块；检测定位单元，用于对拍摄片段进行检测定位，查看是否为感兴趣片段；控制单元，用于切换高速拍摄模式和普通拍摄模式。

还包括对比单元，用于比较当前片段的置信度与阈值的大小关系。

还包括长短时记忆单元，用于当前的时序信息和之前的时序信息，以及输出当前帧图像的当前片段的置信度，同时对接收到的时序信息进行累积且输出至下一个长短时记忆单元。

本发明自动切换高速拍摄模式和普通拍摄模式，不需要人工操作，同时拥有比人更快的反应速度，避免错过重要瞬间，获取全面准确的空间信息和时序信息，准确地捕捉感兴趣的片段，实时的用户行为分析。

附图说明

附图1为本发明切换拍摄模式的示意图；

附图2为本发明感知和输出拍摄片段的置信度的示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1所示，本发明揭示了一种使用深度学习的智能镜头拍摄方法，包括以下步骤：

开启摄像机镜头进行拍摄，使用深度学习的方法对镜头中的目标对象进行感知，获取目标对象的特征，具体为识别目标对象周围的场景以及目标对象的位置、姿态、行为等。深度学习时，首先构建一个包含若干个视频片段的数据集，每一个视频片段都进行感兴趣片段起始时间点和终止时间点的标记，用该数据集训练得到用于深度学习的深度神经网络模型，利用该深度神经网络模型可进行有效的感知。

使用深度学习的方法对拍摄片段进行检测定位，若检测到当前片段为感兴趣片段时，开启高速拍摄模式，若检测到当前片段为非感兴趣片段时，开启普通拍摄模式，该普通拍摄模式的拍摄速度低于高速拍摄模式。在高速拍摄模式和普通拍摄模式中自动切换，从而保证对感兴趣片段及时的进行高速拍摄，不会错漏过重要瞬间。