[发明专利]多国语言语音辨识及翻译方法与相关的系统

说明书

本发明提供一种用于会议中的多国语言语音辨识与翻译方法与相关的系统。该会议包含至少一参与人，并且该方法包含：于一服务器端接收至少一终端装置所产生的至少一音频数据与至少一视频数据；辨识该至少一视频数据，产生关于该至少一参与人的数目、该至少一参与人的种族、至少一参与人于说话时的肢体动作及脸部动作的影像辨识结果；根据该影像辨识结果以及至少一音频数据产生至少一语系辨识结果以及据此得到对应该至少一参与人的多个音频区段；对所述音频区段进行语音辨识以及翻译；以及将该翻译结果显示于至少一终端装置上。

技术领域

本发明涉及到语音辨识与翻译技术，尤指一种参考视频数据进行多国语言语音辨识与翻译的方法以及相关系统。

背景技术

在涉及多国语言的会议中，语音辨识与翻译系统被用来针对不同发语者的谈话内容，进行即时的语音辨识以及翻译，从而让会议更流畅地进行。这种系统同时整合了自动化的语系辨识、语音辨识以及语言翻译等技术。

现有的多国语言语音辨识与翻译技术，大多是通过语音辨识技术把语音转成文字，再针对文字进行翻译。因此，语音辨识的准确度便会影响翻译结果的正确性。

发明内容

有鉴于以上的问题，本发明提出一种创新的多国语言即时语音辨识与翻译方法及系统，可有效地解决现有技术无法妥善处理的同音词以及多语者环境等情况。其中，本发明利用会议现场的视频数据，对会议参与人进行多种状态的判断，以结合同音词以及多语者环境的辨识模型，在语音辨识的阶段中，厘清同音词以及多语者环境，提升语音辨识的准确度。

本发明的一实施例提供一种用于会议中的多国语言语音辨识与翻译方法。该会议包含至少一参与人，并且该方法包含：于一服务器端接收至少一终端装置所产生的至少一音频数据与至少一视频数据；辨识该至少一视频数据，以产生一第一影像辨识结果以及一第二影像辨识结果，该第一影像辨识结果包含该至少一参与人的数目及该至少一参与人的种族以及该第二影像辨识结果包含该至少一参与人于说话时的肢体动作及脸部动作；基于该第一影像辨识结果以及该至少一音频数据，产生至少一语系辨识结果；基于该第一影像辨识结果及该第二影像辨识结果，切割该至少一音频数据，从而产生对应该至少一参与人的多个音频区段；根据该至少一语系辨识结果，语音辨识所述音频区段，将所述音频区段转换成一文字内容；根据该至少一语系辨识结果，翻译该文字内容；以及显示该已翻译的文字内容于该至少一终端装置上。

本发明提供一种用于一会议中的服务器端。该会议包含至少一参与人。该服务器端包含：一视频预处理模块、一语音辨识模块以及一翻译模块。该视频预处理模块用于根据至少一终端装置所传送的至少一视频数据产生一第一影像辨识结果与一第二影像辨识结果。其中该第一影像辨识结果包含该至少一参与人的数目及该至少一参与人的种族，以及该第二影像辨识结果包含该至少一参与人于说话时的肢体动作及脸部动作。该语音辨识模块用以基于该第一影像辨识结果以及该至少一音频数据，产生至少一语系辨识结果；并且还用以基于该第一影像辨识结果及该第二影像辨识结果，切割该至少一音频数据，从而产生对应该至少一参与人的多个音频区段。并且，该语音辨识模块中的一发语者分群子模块，用以根据该至少一语系辨识结果，语音辨识所述音频区段，以将所述音频区段转换成一文字内容。该翻译模块包含一平行式多国语言翻译子模块，其中，该平行式多国语言翻译子模块用以根据该至少一语系辨识结果，翻译该文字内容，使已翻译的文字内容显示于该至少一终端装置。

附图说明

图1为本发明实施例的多国语言语音辨识与翻译系统的简化架构图。

图2A～图2H绘示了本发明多国语言语音辨识与翻译系统中的各个模块的详细实施架构图。

图3绘示了本发明实施例的多国语言语音辨识与翻译方法的简化流程图。

其中，附图标记说明如下：

10 多国语言语音辨识与翻译系统

20 终端装置

30 服务器端