[发明专利]一种音视频容错方法及其系统

说明书

本申请提供一种音视频容错方法，该方法包括：接收信息流；从信息流中抽取音频数据和视频数据；使用电话网络传输音频数据；使用有线/无线互联网传输视频数据；判断是否可以正常接收到音频数据和视频数据；如果可以正常接收，则合成音频和视频数据，并向用户传输合成后的信息流；如果仅可以正常接收音频或视频数据之一，则向用户传输可以正常接收的音频或视频数据。该方法结合现有的硬件条件，为用户提供容错性高，传输稳定的音视频容错方法。

技术领域

本申请涉及音视频处理领域，尤其涉及一种音视频容错方法及其系统。

背景技术

随着通信业务的飞速发展，音频和视频的传输技术日益成熟，其中单独的音频使用传统的电话网络进行传输，由于电话网络采用专线传输的方式，因此语音信号稳定，传输效果好，通话质量高，但是传统的电话网络不能传输音频和视频混合的数据流。现有的音视频流一般采用基于网络协议的有线/无线方式传输。但是由于现有网络带宽的限制以及网络故障的频发，使得音视频系统存在不稳定的问题，从而使得例如重要会议无法顺利进行。

发明内容

有鉴于此，本申请提供一种音视频容错方法及其系统，结合现有的硬件条件，为用户提供容错性高，传输稳定的音视频系统。

本申请提供一种音视频容错方法，该方法包括：接收信息流；从信息流中抽取音频数据和视频数据；使用电话网络传输音频数据；使用有线/无线互联网传输视频数据；判断是否可以正常接收到音频数据和视频数据；如果可以正常接收，则合成音频和视频数据，并向用户传输合成后的信息流；如果仅可以正常接收音频或视频数据之一，则向用户传输可以正常接收的音频或视频数据。

其中从信息流中抽取音频数据和视频数据还包括：进一步从信息流中抽取同步控制信息，并使用有线/无线互联网传输同步控制信息。

其中如果可以正常接收，则合成音频和视频数据包括：根据接收的同步控制信息，合成音频和视频数据。

其中如果仅可以正常接收音频或视频数据之一，则向用户传输可以正常接收的音频或视频数据，包括：如果可以正常接收音频数据，但不能正常接收视频数据，则向用户传输音频数据，并将最后一帧可以正常接收的视频数据传输给用户显示；如果可以正常接收视频数据，但不能正常接收音频数据，则向用户传输视频数据。

其中如果可以正常接收视频数据，但不能正常接收音频数据，则向用户传输视频数据，包括：在向用户传输视频数据之前识别视频中用户脸部图像；根据脸部图像识别唇部图像；根据识别出的唇部图像提取唇部关键点；跟踪唇部关键点的变化，得到每帧图像中关键点的特征向量；计算关键点的特征向量与样本训练集中各个分类特征向量的欧几里德距离；选择欧几里德距离最小的分类特征向量作为识别结果输出。

本申请还提供一种发送方音视频容错设备，该设备包括：

收发器，接收该发起终端发送的信息流，并将接收到的信息流发送给抽取器；

抽取器，接收收发器发送的信息流，并从信息流中抽取音频数据和视频数据，并将抽取的音频数据发送给电话网络接口，将抽取的视频数据发送给有线/无线互联网接口；

电话网络接口，接收抽取器发送的音频数据，并将该音频数据发送到电话网络；

有线/无线互联网接口，接收抽取器发送的视频数据，并将该视频数据发送到有线/无线网络。

还提供一种接收方音视频容错设备，该设备包括：

电话网络接口，连接电话网络，判断电话网络是否工作正常，如果工作正常，则可以接收电话网络传输的音频数据，并将接收到的音频数据发送给合成器；

有线/无线互联网接口，连接有线/无线网络，判断网络是否工作正常，如果工作正常，则从有线/无线网络接收视频数据，并将接收到的视频数据发送给合成器；