[发明专利]一种音视频容错方法及其系统

权利要求书

1.一种音视频容错方法，该方法包括：

接收信息流；

从信息流中抽取音频数据和视频数据；

使用电话网络传输音频数据；

使用有线/无线互联网传输视频数据；

判断是否可以正常接收到音频数据和视频数据；其中电话网络中提供有握手信令，在使用电话网络传输的过程中，向接收方发送握手信令，若发送成功，则表示可以正常传输音频数据；

如果可以正常接收，则合成音频和视频数据，并向用户传输合成后的信息流；

如果仅可以正常接收音频或视频数据之一，则向用户传输可以正常接收的音频或视频数据；

其中如果仅可以正常接收音频或视频数据之一，则向用户传输可以正常接收的音频或视频数据，包括：

如果可以正常接收音频数据，但不能正常接收视频数据，则向用户传输音频数据，并将最后一帧可以正常接收的视频数据传输给用户显示；

如果可以正常接收视频数据，但不能正常接收音频数据，则向用户传输视频数据。

2.如权利要求1所述的方法，其中从信息流中抽取音频数据和视频数据还包括：进一步从信息流中抽取同步控制信息，并使用有线/无线互联网传输同步控制信息。

3.如权利要求2所述的方法，其中如果可以正常接收，则合成音频和视频数据包括：

根据接收的同步控制信息，合成音频和视频数据。

4.如权利要求1所述的方法，其中如果可以正常接收视频数据，但不能正常接收音频数据，则向用户传输视频数据，包括：

在向用户传输视频数据之前识别视频中用户脸部图像；

根据脸部图像识别唇部图像；

根据识别出的唇部图像提取唇部关键点；

跟踪唇部关键点的变化，得到每帧图像中关键点的特征向量；

计算关键点的特征向量与样本训练集中各个分类特征向量的欧几里德距离；

选择欧几里德距离最小的分类特征向量作为识别结果输出。

5.一种发送方音视频容错设备，该设备包括：

收发器，接收发起终端发送的信息流，并将接收到的信息流发送给抽取器；

抽取器，接收收发器发送的信息流，并从信息流中抽取音频数据和视频数据，并将抽取的音频数据发送给电话网络接口，将抽取的视频数据发送给有线/无线互联网接口；

电话网络接口，接收抽取器发送的音频数据，并将该音频数据发送到电话网络；其中电话网络中提供有握手信令，在使用电话网络传输的过程中，向接收方发送握手信令，若发送成功，则表示可以正常传输音频数据；

有线/无线互联网接口，接收抽取器发送的视频数据，并将该视频数据发送到有线/无线网络。

6.一种接收方音视频容错设备，该设备包括：

电话网络接口，连接电话网络，判断电话网络是否工作正常，如果工作正常，则可以接收电话网络传输的音频数据，并将接收到的音频数据发送给合成器；其中电话网络中提供握手信令，在使用电话网络传输的过程中，向接收方发送握手信令，若发送成功，则表示可以正常传输音频数据；

有线/无线互联网接口，连接有线/无线网络，判断网络是否工作正常，如果工作正常，则从有线/无线网络接收视频数据，并将接收到的视频数据发送给合成器；

合成器，接收电话网络接口发送的音频数据，接收有线/无线互联网接口发送的视频数据，如果电话网络接口和有线/无线互联网接口都可以正常接收数据，则合成器合成接收到的音频数据和视频数据，并将合成后的信息流发送给收发器；如果仅可以正常接收音频或视频数据之一，则向收发器传输可以正常接收的音频或视频数据；

收发器，接收合成器合成的信息流或音频或视频数据，并转发给接收终端。

7.如权利要求6所述的接收方音视频容错设备，合成器如果可以正常接收音频数据，但不能正常接收视频数据，则向用户传输音频数据，并将最后一帧可以正常接收的视频数据传输给用户显示；

如果可以正常接收视频数据，但不能正常接收音频数据，则向用户传输视频数据。