[发明专利]基于人体动作分析的语义识别方法及相关装置

说明书

本发明提供了一种基于人体动作分析的语义识别方法，包括：采集能够反映出目标用户的动作的视频数据；追踪并检测目标用户在所采集到的视频数据的每一帧图像中的预定区域内的肢体和面部的关键点，按照预置模板将其转换为一维的数字向量，从而得到对应于所述视频数据的四维张量[1,1,fr,info]，其中，fr表示视频帧数，info表示所述数字向量；将所述视频数据的所述四维张量作为输入数据输入到预置的训练模型，经由预置的语义识别模型预测出与所述目标用户的动作对应的语义，以及将预测出的语义进行输出。此外，还提供了基于人体动作分析的语义识别装置、电子设备及存储介质。根据本发明，能够简单、高效且准确地识别出目标用户的动作的语义信息。

技术领域

本申请涉及一种基于人体动作分析的语义识别方法、装置、电子设备及存储介质，涉及人工智能，计算机视觉，动作行为识别，深度学习技术。

背景技术

信息的接收与传递是人类和整个世界基本的沟通方式。通常而言，这种沟通方式是通过语言的交流来实现的。然而，对于一些特殊的场景或人群，例如，环境非常嘈杂无法获取语音信息的场景，或者听障人士群体，难以通过语言的交流来实现信息的接受与传递，因此，人们通常使用肢体语言或唇语等来表示其想传达的信息。因此，如何能够将识别人体的动作的语义是迫切需要研究的方向。

目前，存在这样一种技术，其运用采集人体唇语的摄像头和采集人体声音的语音识别模块将图像数据和音频数据合成视频信号，再将视频信号转化为手语动作从而实现了基于动作识别及语音识别技术的唇语翻译。然而，将音频信息与视频中的唇语动作对齐就是很难突破的壁垒，更何况通过录音设备进行录制，再通过降噪获得语音信息，这种录音设备在非常嘈杂的环境下如商场、车间等很难剥离单一目标的语音，特别是在目标移动的情况下，效率低下还可能达不到预期效果。

为了解决传统技术中存在的技术问题，本发明利用计算机视觉技术，开发了一种基于动作行为识别模型来学习各种肢体语言、表情和唇语的组合以及他们对应的语义，而无需将图像数据和音频数据合成视频信号。

发明内容

本申请的目的在于提供一种基于人体动作分析的语义识别方法、装置、电子设备及存储介质，其可以通过拍摄装置例如高清摄像头追踪拍摄场景内的目标用户，并且能够随时捕捉目标用户的肢体语言、脸部表情和发声时的唇语，经过一系列的处理和计算，实时还原目标用户的语义信息，并且由输出装置如显示器或音响等输入。本发明的方法不会局限目标用户在场景中的位置，可以广泛应用于在医院、商场等场景，目标用户特别可以是后天失声人群或因处在嘈杂场景中无法获取语音信息的人群，这类特定人群懂得说话时口语，但很大可能不像先天失声人群那样懂得手语，所以普通人与他们交流可能会出现问题，目标用户可能是在呼救或者尝试与人交流，而这些语义信息无法通过传统的录音设备而获得。本发明由于不需要合成音频数据，因此解决了传统技术中的问题。本发明亦可被应用于配合语音识别设备补全缺失信息，这些缺失信息可以是没有声音视频的信息。

更具体地，本发明第一方面提供了一种基于人体动作分析的语义识别方法，其特征在于，包括：

采集能够反映出目标用户的动作的视频数据；

追踪并检测目标用户在所采集到的视频数据的每一帧图像中的预定区域内的肢体和面部的关键点，按照预置模板将其转换为一维的数字向量，从而得到对应于所述视频数据的四维张量[1,1,fr,info]，其中，fr表示视频帧数，info表示所述数字向量；

将所述视频数据的所述四维张量作为输入数据输入到预置的训练模型，经由预置的语义识别模型预测出与所述目标用户的动作对应的语义，以及；

将预测出的语义进行输出。