[发明专利]基于视频行为数据的智能分析方法、装置及存储介质

说明书

本发明涉及人工智能技术，揭露了一种基于视频行为数据的智能分析方法，包括：接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和视频数据，将所述视频数据输入至预先训练完成的表情识别模型得到表情识别结果，将所述语音数据输入至预先训练完成的语态识别模型得到语态识别结果，根据所述语态识别结果与所述表情识别结果构建分类树得到深度浅层心理特征集，根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，若所述偏置值小于或等于所述预设偏置误差，则输出心理状态分析结果。本发明还提出一种基于视频行为数据的智能分析装置以及一种计算机可读存储介质。本发明可以实现精准高效的基于视频行为数据的智能分析功能。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于视频行为数据的智能分析的方法、装置及计算机可读存储介质。

背景技术

基于视频行为数据的智能分析目前已应用于多个领域，如保险公司在理赔过程中，先通过录像设备录取业务人员与待理赔人员的交流视频，然后通过智能分析待理赔人员是否有骗保行为，公安系统审查犯人时，通过分析犯人的心理状态给予犯人心理打击从而希望犯人坦诚相待。

目前常见的基于视频行为数据的智能分析是通过录取微表情、肢体动作及说话语气等视频，通过相关心理专家进行观察分析从而总结出心理状态情况，虽然可以达到心理状态识别的目的，但由于需要投入大量的时间、人力进行分析，因此在如保险、侦查等领域效率较低。

发明内容

本发明提供一种基于视频行为数据的智能分析方法、装置及计算机可读存储介质，其主要目的在于通过模型识别出用户的表情与语态，进而进行心理状态的智能分析。

为实现上述目的，本发明提供的一种基于视频行为数据的智能分析方法，包括：

接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据；

将所述视频数据输入至预先训练完成的表情识别模型中进行表情识别得到表情识别结果；

将所述语音数据输入至预先训练完成的语态识别模型中进行语态识别得到语态识别结果；

根据所述语态识别结果与所述表情识别结果构建分类树，及根据所述分类树得到深度浅层心理特征集，根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，若所述偏置值大于预设偏置误差，则将所述语态识别结果与所述表情识别结果反馈给预设用户，若所述偏置值小于或等于所述预设偏置误差，则根据所述表情识别结果及语态识别结果生成心理状态分析结果，并输出所述心理状态分析结果。

可选地，所述语音提取操作包括：

将所述用户视频进行预加重操作；

将所述预加重操作后的用户视频进行分帧加窗操作；

基于离散傅里叶变化法从所述分帧加窗操作后的用户视频分离出语音数据，得到所述语音数据和所述不包括语音数据的视频数据。

可选地，所述基于视频行为数据的智能分析方法还包括训练所述表情识别模型，所述训练包括：

构建所述表情识别模型；

建立人脸表情库和对比表情库；

根据所述表情识别模型定位裁剪出所述人脸表情库的人脸区域，得到裁剪人脸表情库；

利用所述表情识别模型预测所述裁剪人脸表情库的特征点，判断所述裁剪人脸表情库的特征点与所述对比表情库的误差，若误差大于预设误差，则调整所述表情识别模型的参数，并重新预测所述裁剪人脸表情库的特征点，若误差小于所述预设误差，则退出预测，完成所述表情识别模型的训练。

可选地，所述深度浅层心理特征集是使用基尼指数法计算所述分类树的基尼指数得到；