[发明专利]一种音视频同步方法

说明书

技术领域

本发明涉及一种音视频同步方法，属于计算机多媒体技术领域。

背景技术

音视频同步是多媒体技术领域里的核心关键技术。当前在通信工业开发领域都侧重于播放端的音视频同步，尤其是接在网络传输之后的播放端的同步问题。公开号为CN101118776的专利——实现音、视频数据同步的方法、系统及装置，利用视频数据或音频数据的位置标识与该数据的帧号的对应关系来进行同步；公开号为CN103581730的专利——在数字机顶盒上实现音视频同步的方法，公开了在数字电视线缆传输的接收端利用音频PTS1标签达到同步的方法，并且在网络传输状态下保持音视频动态同步的一种策略；公开号为CN103747316的专利——一种音视频同步方法和电子设备，利用音频时钟纠正系统时钟，然后令视频时钟与系统时钟同步。公开号为CN103546662的专利——一种网络监控系统中音视频同步方法，利用RTP分包的序列号实现音视频数据在缓冲区的合适放置并同步播放。到目前为止，还没有相关的现有技术公开以下音视频同步方法：利用数字设备进行录音录像并制作成多媒体视频文档。此外，播放端的同步的根本前提还是多媒体信号源生成时的同步，倘若音视频内容在生成时就没有保证同步，那么在播放端做同步机制也没有意义。

现在由于笔记本电脑、上网本、平板电脑、以及智能手机的使用的普遍性，无论对监控还是教学而言，显示屏屏幕内容和该设备播放声音或环境声音的录制变得越来越重要，有鉴于此，本发明人对此进行研究，专门开发出一种音视频同步方法，本案由此产生。

发明内容

本发明的目的是提供一种音视频同步方法，通过使用图像帧数目转化到时间，使得总的音频时间、视频时间保持一致，进而有效保证音视频数据的严格同步。

为了实现上述目的，本发明的解决方案是：

一种音视频同步方法，包括如下步骤：

1)开启图像抓取线程：按照预定帧率时间间隔捕获屏幕图像，然后通过视频编解码库进行编码，最后把视频码流存入视频文件；

2)在开启图像抓取线程的同时启动一个录音线程：抓取音频数据，然后通过音频编解码库进行编码，最后把音频码流写入视频文件；

3)音视频同步以音频为基准，录音线程每向视频文件写入一块音频数据的码流时，根据音频采样频率以及音频数据块录音块长度计算得到该视频文件的绝对时间T，所述绝对时间T即为视频文件播放时从文件开始到当前音频数据段的累计播放时间；

4)基于视频文件的绝对时间T，根据预设的视频帧率参数，计算得到截止到当前时刻的图像帧的数目a，a即为保持同步的帧数的理想值；然后从图像抓取线程里查询得到该线程到目前为止往视频文件写入的图像帧数目b，倘若a<b，则表示目前写入文件的图像帧过多，应在图像抓取线程中暂停往视频文件里写一次图像；倘若a≥b，则图像抓取线程正常执行往视频文中件写入一帧图像码流，实现音频和视频的同步，步骤3)和4)所述的处理过程伴随图像抓取线程和录音线程这两个线程的生命期全程。

上述步骤3)所述的绝对时间T(秒)是通过音频采集来计算的：

T＝BlkNum*BlkLen/SR

其中，BlkLen是每一次抓取的录音数据块的长度(即样本数)，是系统设计时预先定义的，BlkNum是迄今为止抓取录音数据块的次数(即音频线程被调用的次数)，SR是音频采样率(即样本数/秒)，也是系统设计时预定义的。

上述步骤4)所述的图像帧的数目a＝T/fps，

其中，fps是帧率(frames per second)，是系统预设参数。

本发明所述的音视频同步方法可以应用在屏幕录制时的音视频同步机制，也适用于使用数字设备进行录音录像的音视频同步，上述音视频同步方法通过使用图像帧数目转化到时间，使得总的音频时间、视频时间保持一致，进而有效保证音视频数据的严格同步。目前在部署操作系统的智能数字设备上尚无类似的同步录音录像技术。早期模拟摄录机由内置的模拟电路控制实现声音和图像信号的同步录制，后来的数字摄录设备，例如DV等也是依赖于ASIC(Application Specific Integrated Circuit)电路的驱动软件实现了音视频两路信号的同步控制，与现在的基于多任务的操作系统下的音视频同步方式有本质的不同，这些现有技术都无法应用到目前的录屏的需求里面。

以下结合附图及具体实施例对本发明做进一步详细描述。

附图说明

图1为本实施例的音视频同步方法流程图。

具体实施方式