[发明专利]一种结合语音识别的身体轨迹实时跟踪方法及装置

权利要求书

1.一种结合语音识别的身体轨迹实时跟踪方法，其特征在于，包括：

将第二时段采集的音频信号进行语音识别，确定第五说话对象及所述第五说话对象对应的音频帧；

在确定所述第五说话对象为已关联对象时，将所述第二时段采集的视频信号的图像帧与所述已关联对象的身体图像进行匹配，从所述第二时段采集的视频信号中确定包含所述已关联对象的图像帧；所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的；所述已关联对象的身体图像是通过所述第一时段采集的视频信号确定的；

确定所述第五说话对象对应的音频帧与所述第二时段采集的包含所述已关联对象的图像帧之间的所述对应关系。

2.如权利要求1所述的方法，其特征在于，所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象，包括：

将第一时段采集的音频信号进行语音识别，确定第二说话对象及所述第二说话对象对应的音频帧；

将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述第一时段采集的视频信号的图像帧中同一人脸的唇动特征确定的；

建立所述第二说话对象对应的音频帧与所述第一说话对象对应的图像帧之间的所述对应关系，并将所述对应关系指示的对象确定为所述已关联对象。

3.如权利要求2所述的方法，其特征在于，所述将所述第二时段采集的视频信号的图像帧与所述已关联对象的身体图像进行匹配，从所述第二时段采集的视频信号中确定包含所述已关联对象的图像帧，包括：

根据所述第一时段中所述已关联对象对应的图像帧中的第一说话对象的人脸图像，确定所述第一说话对象的第一身体图像；

将所述第二时段采集的视频信号中的图像帧与所述第一身体图像进行匹配，从所述第二时段采集的视频信号中确定所述第二时段中所述已关联对象的图像帧。

4.如权利要求2所述的方法，其特征在于，所述已关联对象的身体图像是通过所述第一时段采集的视频信号确定的，包括：

从所述第二说话对象对应的图像帧中确定所述第二说话对象的身体图像；

关联所述第二说话对象的身体图像与所述第二说话对象的人脸图像。

5.如权利要求3所述的方法，其特征在于，将所述第二时段采集的视频信号的图像帧与所述已关联对象的身体图像进行匹配之前，还包括：

在确定所述第五说话对象为已关联对象时，从所述第二时段采集的视频信号的图像帧中确定不存在与所述已关联对象的人脸图像匹配的图像帧。

6.一种结合语音识别的身体轨迹实时跟踪装置，其特征在于，包括：

音频处理模块，用于将第二时段采集的音频信号进行语音识别，确定第五说话对象及所述第五说话对象对应的音频帧；

识别处理模块，用于在确定所述第五说话对象为已关联对象时，将所述第二时段采集的视频信号的图像帧与所述已关联对象的身体图像进行匹配，从所述第二时段采集的视频信号中确定包含所述已关联对象的图像帧；所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的；所述已关联对象的身体图像是通过所述第一时段采集的视频信号确定的；确定所述第五说话对象对应的音频帧与所述第二时段采集的包含所述已关联对象的图像帧之间的所述对应关系。

7.如权利要求6所述的装置，其特征在于，所述音频处理模块，具体用于：将第一时段采集的音频信号进行语音识别，确定第一说话对象及所述第一说话对象对应的音频帧；所述装置还包括：

图像处理模块，用于将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述视频信号的图像帧中同一人脸的唇动特征确定的；

所述识别处理模块，用于确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧之间的所述对应关系，并将所述对应关系中的对象确定为所述已关联对象。