[发明专利]一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置

权利要求书

1.一种实时语音转换字幕数据同步处理与画面合成直播的方法，其特征在于，包括以下步骤：

第一拾音器采集现场实时声音，传输给第一摄像机及数据处理主机，第一摄像机采集现场实时图像数据及拾音器传送来的声音；

按照视频编解码的方式将声音及画面进行同步处理合成成为实时直播的流媒体数据，生成后的数据通过网络信号或实体线材如HDMI/SDI/VGA等传输到数据处理主机中；当数据传输到数据处理主机中后，数据处理主机按照特定的解码，将获取的流媒体数据，进行声音和视频的分离，将第一拾音器采集现场实时声音数据实时进行连接语音识别引擎，进行识别转换成多种样式的文字字幕进行屏幕展示；数据处理主机获取到的流媒体数据分离后的声音与第一拾音器采集的现场实时声音进行编码对比同步处理，处理的时间戳将视频数据直接与预处理后的文字字幕信息进行编码同步，通过数据处理主机直接将与文字字幕同步的画面进行输出，调整预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，合成为同步含有文字字幕的直播画面，再次对合成画面进行编码成流媒体数据，进行HDMI/VGA/SDI及RTMP流媒体等信号的输出。

2.根据权利要求1所述的方法，其特征在于，数据处理主机分离获取到的流媒体数据中的声音和视频，利用分离出来的声音与第一拾音器采集现场实时声音数据实时对比，进行时间戳的同步处理，将第一拾音器采集现场实施声音数据通过语音转换文字的识别引擎进行处理承德文字字幕信息进行时间戳的对比同步处理。

3.根据权利要求1所述的方法，其特征在于，当现场声音与画面同步输入后，调整预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，数据处理主机通过编码软件方式对叠加画面的桌面进行采集合成为同步含有文字字幕的直播画面。

4.根据权利要求1所述的方法，其特征在于，当现场声音与画面同步输入后，调整预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，数据处理主机通过硬件采集卡方式对叠加画面的桌面进行采集合成为同步含有文字字幕的直播画面。

5.根据权利要求1所述的方法，其特征在于，当现场声音与画面同步输入后，调整预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，数据处理主机通过硬件采集编码器方式对叠加画面的桌面进行采集合成为同步含有文字字幕的直播画面。

6.一种实时语音转换字幕数据同步处理与画面合成直播的装置，其特征在于，包括：拾音器、摄像机和数据处理主机设备，所述拾音器与数据处理主机设备相连，摄像机与数据处理主机设备相连；所述拾音器用于采集现场实时声音，所述摄像机用于采集现场实时图像，所述数据处理主机设备用于对拾音器及摄像机传输过来的数据进行解码处理、对比同步处理、合成编码输出处理等，若现场拾音器采集现场实时声音传输给数据处理主机装置同时传输给摄像机，摄像机采集现场实时图像及声音的合成给数据处理主机装置，数据处理主机装置便可以将声音转换成文字字幕与实时直播的画面同步及叠加合成，输出成带同步字幕的视频画面，该画面可通过HDMI/VGA/SDI信号出书或RTMP流媒体信号输出。