[发明专利]基于视频行为数据的智能分析方法、装置及存储介质

权利要求书

1.一种基于视频行为数据的智能分析方法，其特征在于，所述方法包括：

接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据；

将所述视频数据输入至预先训练完成的表情识别模型中进行表情识别，得到表情识别结果；

将所述语音数据输入至预先训练完成的语态识别模型中进行语态识别，得到语态识别结果；

根据所述语态识别结果与所述表情识别结果构建分类树，及根据所述分类树得到深度浅层心理特征集，根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，若所述偏置值大于预设偏置误差，则将所述语态识别结果与所述表情识别结果反馈给预设用户，若所述偏置值小于或等于所述预设偏置误差，则根据所述表情识别结果及语态识别结果生成心理状态分析结果，并输出所述心理状态分析结果。

2.如权利要求1所述的基于视频行为数据的智能分析方法，其特征在于，所述将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据，包括：

将所述用户视频进行预加重操作；

将所述预加重操作后的用户视频进行分帧加窗操作；

基于离散傅里叶变化法从所述分帧加窗操作后的用户视频分离出语音数据，得到所述语音数据和所述不包括语音数据的视频数据。

3.如权利要求1所述的基于视频行为数据的智能分析方法，其特征在于，该方法还包括训练所述表情识别模型，所述训练包括：

构建所述表情识别模型；

建立人脸表情库和对比表情库；

根据所述表情识别模型定位裁剪出所述人脸表情库的人脸区域，得到裁剪人脸表情库；

利用所述表情识别模型预测所述裁剪人脸表情库的特征点，判断所述裁剪人脸表情库的特征点与所述对比表情库的误差，若误差大于预设误差，则调整所述表情识别模型的参数，并重新预测所述裁剪人脸表情库的特征点，若误差小于所述预设误差，则退出预测，完成所述表情识别模型的训练。

4.如权利要求1至3中任意一项所述的基于视频行为数据的智能分析方法，其特征在于，所述深度浅层心理特征集是使用基尼指数法计算所述分类树的基尼指数得到；

其中，所述基尼指数法为：

其中，Ａ表示所述深度浅层心理特征集，D表示所述语态识别结果与所述表情识别结果构成的集合，T_s表示不同标签分类的数据量，T₁表示愤怒标签的数据量，T₂表示喜悦标签的数据量，表示所述语态识别结果与所述表情识别结果构成的集合的数据量。

5.如权利要求4所述的基于视频行为数据的智能分析方法，其特征在于，所述根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，包括：

基于所述深度浅层心理特征集分别构建惩罚项和误差函数；

将所述误差函数和所述惩罚项相加得到目标函数；

求解所述误差函数的一阶偏导结果和二阶偏导结果；

根据所述一阶偏导结果和所述二阶偏导结果，反向推导得到目标函数内的偏置值。

6.一种基于视频行为数据的智能分析装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的基于视频行为数据的智能分析程序，所述基于视频行为数据的智能分析程序被所述处理器执行时实现如下步骤：

接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据；

将所述视频数据输入至预先训练完成的表情识别模型中进行表情识别，得到表情识别结果；

将所述语音数据输入至预先训练完成的语态识别模型中进行语态识别，得到语态识别结果；

根据所述语态识别结果与所述表情识别结果构建分类树，及根据所述分类树得到深度浅层心理特征集，将所述深度浅层心理特征集输入至预先构建的心理分析模型得到偏置值，若所述偏置值大于预设偏置误差，则将所述语态识别结果与所述表情识别结果反馈给预设用户，若所述偏置值小于或等于所述预设偏置误差，则根据所述表情识别结果及语态识别结果生成心理状态分析结果，并输出所述心理状态分析结果。