[发明专利]一种结合语音识别的身体轨迹实时跟踪方法及装置

说明书

本发明涉及通信技术领域，特别涉及一种结合语音识别的身体轨迹实时跟踪方法及装置。该方法为：将第二时段采集的音频信号进行语音识别，确定第五说话对象及所述第五说话对象对应的音频帧；在确定所述第五说话对象为已关联对象时，将所述第二时段采集的视频信号的图像帧与所述已关联对象的身体图像进行匹配，从所述第二时段采集的视频信号中确定包含所述已关联对象的图像帧；所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象；确定所述第五说话对象对应的音频帧与所述第二时段采集的包含所述已关联对象的图像帧之间的所述对应关系。

技术领域

本发明涉及音频处理技术，特别涉及一种结合语音识别的身体轨迹实时跟踪方法及装置。

背景技术

当今社会中，出于安防管理的需要，监控设备布满了街道、社区、楼宇等各种公共场合。在发生警情时，警务人员利用监控摄像搜捕嫌疑人。

然而随着监控网络规模的扩大，视频数据海量增长。在出现警情时，基于嫌疑人的图像从海量图像中获取有用的信息或者情报越来越困难，不仅效率低，同时人力成本高。

另外，出于会议场景的需要，尤其是远程会议场景的需要，会议中仅能显示视频，无法在显示界面显示说话人的语音识别结果，导致会议的效率不高，而且，针对会议中信息的记录也需要额外增加人力进行会议记录，导致耗费了大量的人力成本，无法提高业务效率。

发明内容

本发明实施例提供一种结合语音识别的身体轨迹实时跟踪方法及装置，用以提高监控场景或会议场景下的语音识别和图像识别的联合监控和语音的跟踪，提高监控或会议效率，以及会议场景下的语音识别和图像识别的联合显示，满足会议的业务需要。本发明实施例提供的具体技术方案如下：

本发明实施例提供一种结合语音识别的身体轨迹实时跟踪方法，包括：

将第二时段采集的音频信号进行语音识别，确定第五说话对象及所述第五说话对象对应的音频帧；

在确定所述第五说话对象为已关联对象时，将所述第二时段采集的视频信号的图像帧与所述已关联对象的身体图像进行匹配，从所述第二时段采集的视频信号中确定包含所述已关联对象的图像帧；所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的；所述已关联对象的身体图像是通过所述第一时段采集的视频信号确定的；

确定所述第五说话对象对应的音频帧与所述第二时段采集的包含所述已关联对象的图像帧之间的所述对应关系。

本发明实施例中，通过将第二时段采集的音频信号进行语音识别，及所述第二时段采集的视频信号根据第一时段匹配的已关联对象与第二时段采集的音频信号进行语音识别的语音识别结果进行关联，确定所述第五说话对象对应的音频帧与所述第二时段采集的包含所述已关联对象的图像帧的所述对应关系，以使监控场景或会议场景下，在获得已关联对象的人脸图像及身体图像的条件下，可以直接进行说话对象的关联，减少图像识别所带来的资源消耗，提高已关联对象的召回率，提高语音对象跟踪效率，及监控或会议效率，以适应更多的监控或会议环境。

一种可能的实现方式，所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象，包括：

将第一时段采集的音频信号进行语音识别，确定第二说话对象及所述第二说话对象对应的音频帧；

将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述第一时段采集的视频信号的图像帧中同一人脸的唇动特征确定的；

建立所述第二说话对象对应的音频帧与所述第一说话对象对应的图像帧之间的所述对应关系，并将所述对应关系指示的对象确定为所述已关联对象。