[发明专利]一种视频即时通讯系统及方法

说明书

技术领域

本发明涉及即时通讯(IM)领域，具体涉及视频即时通讯系统和方法，更具体地说，涉及基于人脸检测和人脸跟踪的视频即时通讯系统和方法。

背景技术

随着即时通信的普及和网络带宽的提升，越来越多的用户开始用摄像头进行视频聊天、视频通话、视频会议等。在视频即时通讯中，进行视频通信的双方往往比较关注图像帧的特定视频内容(例如，人脸)，对其他信息(如背景)不太关注。现有的视频即时通讯系统中，发送端通过视频输入设备如摄像头接收视频序列，并采用一定的编码算法对图像帧进行编码，也就是说，发送端使用相同的编码算法来编码一个图像帧的各个部分(例如一个图像帧的各个图像块)，这带来了两个问题：

(1)、编码后图像帧信息量较大，占用较大的带宽。很容易因为网络带宽及传输质量的不稳定而造成视频的质量难以保证。

(2)、不能有效地突出图像帧中的特定视频信息(例如人脸)，不能很好地满足视频通信双方的视频通讯体验。

一般而言，进行通信的双方比较关注的是对方的面部信息，对于背景信息的关注程度明显降低，因此，需要一种占用较少的带宽、且能够突出人脸和淡化背景的视频即时通讯方法和系统。

另一方面，随着计算机自动化、智能化的发展，人脸识别、人脸检测和跟踪技术有了很大的进步。例如中国专利申请200510135668.8，“视频序列中人脸的实时检测和持续跟踪的方法和系统”就记载了对视频序列进行人脸检测和跟踪的方法及系统。因此，现有的人脸识别、检测和跟踪技术已经为视频即时通讯系统及方法的改进，提供了技术条件。

发明内容

本发明要解决的技术问题在于，针对现有的及视频系统通讯系统对整个图像帧采用相同的编码算法而导致的占用带宽、不能突出特定视频信息的缺陷，提供一种改进的视频即时通讯系统和方法。

一方面，本发明提供一种视频即时通讯系统，包括发送端和接收端，所述发送端包括用于接收视频信号并生成视频序列的视频接收模块，其中：

所述发送端还包括：

人脸检测模块，用于对所述视频序列进行检测，确定一帧图像中是否包括人脸信息；

人脸跟踪模块，用于在某帧图像检测到人脸信息后，追踪和分析后续帧的人脸信息；

编码模块，其以第一编码算法对所述视频序列中的人脸信息进行编码，以第二编码算法对所述视频序列中的非人脸信息进行编码或者丢弃非人脸信息；

网络通信模块，用于发送编码的视频信息。

在本发明所述的视频即时通讯系统中：

所述发送端还包括模型参数库；以及

所述人脸检测模块还提取当前图像帧的人脸信息并将其存入模型参数库中。

在本发明所述的视频即时通讯系统中，所述人脸检测模块使用基于灰度模型的人脸检测算法对所述视频序列进行检测。

在本发明所述的视频即时通讯系统中，所述人脸检测模块使用基于肤色模型的人脸检测算法对所述视频序列进行检测。

在本发明所述的视频即时通讯系统中，所述人脸跟踪模块使用基于运动的跟踪方法、基于模型的跟踪方法或其组合来追踪和分析后续帧的人脸信息。

另一方面，本发明提供一种视频即时通讯的方法，包括以下步骤：

S1、发送端接收视频序列；

S2、检测所述视频序列中的当前帧是否包含人脸信息，如果是，则执行步骤S3，否则，继续检测后续帧以确定其是否包含人脸信息；

S3、在步骤S2中检测到某帧包含人脸信息之后，追踪和分析后续帧的人脸信息；

S4、以第一编码算法对所述视频序列中的人脸信息进行编码，以第二编码算法对所述视频序列中的非人脸信息进行编码或者丢弃非人脸信息。

在本发明所述的视频即时通讯方法中，所述步骤S2进一步包括还提取当前图像帧的人脸信息并将其存入模型参数库中。

在本发明所述的视频即时通讯方法中，所述步骤S2进一步包括：如果当前帧不包含人脸信息，则对当前帧进行正常编码。

在本发明所述的视频即时通讯方法中，所述步骤S2进一步包括使用基于肤色模型的人脸检测算法对所述视频序列进行检测。

在本发明所述的视频即时通讯方法中，所述步骤S2进一步包括使用基于肤色模型的人脸检测算法对所述视频序列进行检测。

在本发明所述的视频即时通讯方法中，所述步骤S3进一步包括使用基于运动的跟踪方法、基于模型的跟踪方法或其组合来追踪和分析后续帧的人脸信息。

与现有技术相比，本发明具有以下有益效果：