[发明专利]一种媒体流信息的处理方法及终端、计算机存储介质

权利要求书

1.一种媒体流信息的处理方法，其特征在于，所述方法包括：

对由至少一个媒体帧信息构成的第一媒体数据流按照媒体帧类型进行分离，得到至少一个视频帧和至少一个音频帧；将所述至少一个视频帧发送到第一抖动缓冲区Jitterbuffer；

将所述至少一个音频帧发送到第二Jitterbuffer；

由所述第一Jitterbuffer按照包序号由小到大的排列顺序，对所述至少一个视频帧构成的视频流进行排序，得到所述视频流对应的排序结果；获取所述视频流中的关键帧，建立所述关键帧与非关键帧的相关性；根据所述视频流对应的排序结果和所述相关性得到相邻视频帧的原始时戳差值；根据所述相邻视频帧的原始时戳差值进行出队节拍控制；当异常导致的所述视频流的出队帧率低于所述第一最低帧率策略中设置的所述视频流的下限出队帧率时，根据所述视频流的下限出队帧率输出所述视频流对应的插帧指示帧，并根据所述视频流对应的插帧指示帧对异常进行修复后得到待处理的视频流；

由所述第二Jitterbuffer按照包序号由小到大的排列顺序，对所述至少一个音频帧构成的音频流进行排序，得到所述音频流对应的排序结果；根据所述音频流对应的排序结果得到相邻音频帧的原始时戳差值；根据所述相邻音频帧的原始时戳差值进行出队节拍控制；当异常导致的所述音频流的出队帧率低于所述第二最低帧率策略中设置的所述音频流的下限出队帧率时，根据所述音频流的下限出队帧率输出所述音频流对应的插帧指示帧，并根据所述音频流对应的插帧指示帧对异常进行修复后得到待处理的音频流；

将所述待处理的视频流和所述待处理的音频流发送到第三Jitterbuffer；

由所述第三Jitterbuffer根据原始输入时戳的时间顺序，对所述待处理的视频流和所述待处理的音频流进行音视频混排处理，得到第二媒体数据流。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

设置初始缓冲最小包数，如果当前缓冲包数达到所述初始缓冲最小包数，则执行出队处理，否则，执行入队处理；

根据最低出队帧率得到最大出队时间间隔，如果当前时间与上一次成功出队的时间之差大于所述最大出队时间间隔，则执行第一预设操作，否则，结束出队处理，返回到入队处理。

3.根据权利要求2所述的方法，其特征在于，所述由所述第一Jitterbuffer根据第一最低帧率策略，对所述至少一个视频帧构成视频流中发生异常的帧执行插帧判决，根据判决结果对异常进行修复后得到待处理的视频流，包括：

执行所述入队处理时，在初始状态下，设置初始缓冲结束标志为真TRUE；

读取输入的视频包，当需要等待的关键帧标志为TRUE时，确定入队的首包为关键帧；

若当前需要等待关键帧，但当前为非关键帧，则结束当前的入队处理，否则对所述视频包进行入队预处理；

进行入队预处理后进行视频包的合法性判断，若当前视频包的包序号大于上一次出队视频包的包序号，则丢弃当前视频包，结束当前入队处理，否则，按照包序号从小到大的顺序，将当前视频包入队。

4.根据权利要求2所述的方法，其特征在于，所述由所述第一Jitterbuffer根据第一最低帧率策略，对所述至少一个视频帧构成视频流中发生异常的帧执行插帧判决，根据判决结果对异常进行修复后得到待处理的视频流，包括：

执行所述出队处理时，在初始状态下，若初始缓冲结束标志不为TRUE，则不执行当前出队处理，直接返回到入队处理，否则，根据队列当前为空或不为空的情况分别进行判断；

队列当前为空的情况下，若当前时间与上次成功出队时间之差大于最大出队时间间隔时，则执行第一预设操作，否则，结束出队处理，返回到入队处理；

队列当前不为空的情况下，若当前时间与上次成功出队时间之差大于待出队首包与上次成功出队包之间的时戳差值时，则将队列首包出队，否则，判断当前时间与上次成功出队时间之差是否大于最大出队时间间隔时，如果是，则执行预设操作，否则，结束出队处理，返回到入队处理。