[发明专利]一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置

说明书

本发明提供了一种实时语音转换字幕数据同步处理与画面合成直播的方法，属于图像处理技术领域，该方法需要解决声音画面字幕同步输出的问题，上述方法包括以下步骤：第一拾音器采集现场实时声音传给第一摄像机及数据处理主机，第一摄像机采集现场实时图像数据及拾音器传送来的声音画面同步合成成为实时直播的流媒体数据传输到数据处理主机中；数据处理主机将获取的流媒体数据进行声音和视频的分离，将第一拾音器采集现场实时声音数据实时进行识别转换成文字字幕；数据处理主机直接将文字字幕与直播画面同步叠加合成输出，含有文字字幕的同步直播画面，通过HDMI/VGA/SDI及RTMP流媒体等信号的输出。

技术领域

本发明属于图像处理技术领域，尤其涉及一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置。

背景技术

在新闻节目直播、网络直播、精品课程直播公开课等网络直播形式的兴起下，为了让聋哑人、外国友人及参与人员能够更加直观的了解讲述人所讲的能容，需要将现场实时讲述人讲的话转换为可显示的字幕与实时画面叠加输出。

为了达到上述直播效果，需要实时通过拾音器及摄像机将声音及画面传输给数据处理主机装置，通过数据处理主机对声音及画面进行同步及转换文字字幕，然后将文字字幕与同步的画面进行叠加合成输出最终含文字字幕的同步直播视频。

发明内容

本发明提供一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置，以解决上述问题。

本发明提供一种实时语音转换字幕数据同步处理与画面合成直播的方法。上述方法包括以下步骤：第一拾音器采集现场实时声音，传输给第一摄像机及数据处理主机，第一摄像机采集现场实时图像数据及拾音器传送来的声音；按照视频编解码的方式将声音及画面进行同步处理合成成为实时直播的流媒体数据，生成后的数据通过网络信号或实体线材如HDMI/SDI/VGA等传输到数据处理主机中；当数据传输到数据处理主机中后，数据处理主机按照特定的解码，将获取的流媒体数据，进行声音和视频的分离，将第一拾音器采集现场实时声音数据实时进行连接语音识别引擎，进行识别转换成多种样式的文字字幕进行屏幕展示；数据处理主机获取到的流媒体数据分离后的声音与第一拾音器采集的现场实时声音进行编码对比同步处理，处理的时间戳将视频数据直接与预处理后的文字字幕信息进行编码同步，通过数据处理主机直接将与文字字幕同步的画面进行输出，调整预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，合成为同步含有文字字幕的直播画面，再次对合成画面进行编码成流媒体数据，进行HDMI/VGA/SDI及RTMP流媒体等信号的输出。本发明还提供一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置，上述设备包括：包括：拾音器、摄像机和数据处理主机设备，所述拾音器与数据处理主机设备相连，摄像机与数据处理主机设备相连；所述拾音器用于采集现场实时声音；所述摄像机用于采集现场实时图像；所述数据处理主机设备用于对拾音器及摄像机传输过来的数据进行解码处理、对比同步处理、合成编码输出处理等；若现场拾音器采集现场实时声音传输给数据处理主机装置同时传输给摄像机，摄像机采集现场实时图像及声音的合成给数据处理主机装置，数据处理主机装置便可以将声音转换成文字字幕与实时直播的画面同步及叠加合成，输出成带同步字幕的视频画面，该画面可通过HDMI/VGA/SDI信号出书或RTMP流媒体信号输出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明的较佳实施例提供的实时语音转换字幕数据同步处理与画面合成直播的方法的流程图；

图2所示为根据本发明的较佳实施例提供的实时语音转换字幕数据同步处理与画面合成直播的装置的结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。