[发明专利]一种基于时间栈表情识别的电视智能拍照方法

说明书

本发明公开了一种基于时间栈表情识别的电视智能拍照方法，通过提供一种灵活方便、与电视全新的交互模式，使得电视这一传统家电具有无接触、自动抓拍最佳表情的智能化拍照功能，进一步提升了用户体验。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于时间栈表情识别的电视智能拍照方法。

背景技术

随着人工智能与机器视觉的发展，技术革新也为各行各业带来了翻天覆地的变化，与此同时，用户也对电视这一传统家电提出了更高的需求。目前市面上主要是通过引入摄像机，语音等方式来提供新的人机交互手段，针对照相这一常用功能，传统的交互方式主要为用户主动用遥控器进行操控电视设备，这必然导致了用户在操作过程中需手持遥控器而引起的姿态不自然、操作繁琐等问题，进而影响用户体验。

发明内容

本发明目的在于解决在目前图像技术领域当中，拍照智能化程度低，需要用户主动用遥控器操控电视设备进而引起的姿态不自然、操作繁琐等问题。同时，用户表情是一个连续性行为，仅通过表情识别直接进行拍照，可能造成抓拍的图片中，用户表情并不是最佳的，进而影响拍照效果。

本发明另一方面还针对遥控操作拍照引起用户体验较差这一问题，采用了一种新的人机交互方式，即通过电视机的相机设备捕捉人脸，对质量较高，表情自然的镜头进行自动拍照，实现智能化拍照的目的。

针对某一时刻的表情识别进行拍照，可能导致的无法捕捉最佳表情，进而影响拍照效果的问题，本发明引入时间栈概念，同时捕捉一段时间内的照片，对开心、惊喜等表情进行识别，选取照片中表情置信度最高的图像作为最佳照片，提升用户拍照体验。

本发明通过以下技术方案来实现上述目的：

一种基于时间栈表情识别的电视智能拍照方法，包括以下步骤：

步骤1，初始化时间栈，设定固定时长T为时间栈的长度；

步骤2，对摄像头采集的数据通过表情识别模型对其进行识别，得到用户表情类型和对应的置信度；

步骤3，随着时间变化，对T₀前的数据进行出栈操作，对T₁后的数据进行入栈操作；

步骤4，识别到用户在某一时刻T_C做出开心、惊喜表情时，再进行T₁时长的后表情入栈操作，最后将时间栈的数据取出；

步骤5，对T时间内时间栈内的所有照片开心、惊喜表情的置信度进行排序，依据置信度最高索引出对应的图像数据，作为最佳照片，进行拍照操作。

进一步方案为，所述步骤2中，系统持续通过电视机上的摄像头获取用户图像，调用预先训练好的人脸表情分类模型对图像进行识别，该模型可以识别开心、惊喜、悲伤、普通四种表情，最终获得人像表情属性且得到表情置信度。

进一步方案为，所述预先训练完毕的人脸表情分类模型为基于深度学习的卷积神经网络该网络主体结构为mobilenet神经网络。

进一步方案为，所述卷积神经网络的训练过程如下：

A：采集不同表情(开心、惊喜、悲伤、普通)的人脸图像，构建人脸表情数据集；

B：对数据集中的图像进行随机裁剪、旋转、亮度变化操作，完成数据扩增，生成训练数据；

C：将B中生成的训练数据输入到网络中进行训练；

D：判断损失函数值是否达到停机条件，达到则停止训练，导出人脸表情分类模型，否则重复C。