[发明专利]一种云会议云翻译方法及系统

说明书

本发明提出了一种云会议云翻译方法及系统，涉及视频直播及机器翻译领域。一种云会议云翻译方法包括：采用语谱图作为源语句并输入至Encoder；指示从Encoder到Decoder转换的边界标记和目标句子为系统提供张量，包含单词索引源输入字、目标输入字、目标输出字；对齐关联句子顺序向左移动分解词源，向左移动一个时间段并再右边附加一个句末尾标记；通过已标标记源语言和目标语言的句子对，引用注意力机制将源语言投影至目标语言。其增加了更好的互动性，更好的模拟现实展会场景与场景营销，高识别精确度。此外本发明还提出了一种云会议云翻译系统，包括：编码模块、解码模块、标记模块以及输出模块。

技术领域

本发明涉及视频直播及机器翻译领域，具体而言，涉及一种云会议云翻译方法及系统。

背景技术

当前线上展会平台普遍不重视参展商与观众的互动，对于线下展会的还原度普遍不高。对于收到展商单一语种的限制，不能起到更好的传播效果。

随着直播功能的拓展和国际化趋势，很多直播及视频会议平台会在不同国家进行部署和推广。此时，不同国家或地区的人员会使用不同语言进行交流。因此，一个有效的机器翻译系统可以大大增强视频会议交流的可行性。

发明内容

本发明的目的在于提供一种云会议云翻译方法，其增加了更好的互动性，更好的模拟现实展会场景与场景营销，在语音任务识别过程中，可交叉使用CRNN、Sequence-to-Sequence通道等，提高识别精确度。

本发明的另一目的在于提供一种云会议云翻译系统，其能够运行一种云会议云翻译方法。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种云会议云翻译方法，其包括采用语谱图作为源语句并输入至Encoder；指示从Encoder到Decoder转换的边界标记和目标句子为系统提供张量，包含单词索引源输入字、目标输入字、目标输出字；对齐关联句子顺序向左移动分解词源，向左移动一个时间段并再右边附加一个句末尾标记；通过已标标记源语言和目标语言的句子对，引用注意力机制将源语言投影至目标语言。

在本发明的一些实施例中，上述语谱图的获取方法包括：通过语音信号获得语谱图和声学特征描述符LLD，对声学特征描述符特征进行HSF表示，获取切分后的音频文件的全局特征。

在本发明的一些实施例中，上述还包括：语谱图输入馈入卷积神经网络中作为一条通道；语谱图和梅尔频率倒谱系数馈入Sequence-to-Sequence中作为另一条通道，将两条通道的模型融合加入注意力机制，形成声纹识别特征。

在本发明的一些实施例中，上述从Encoder到Decoder转换的方法包括：查找源语句并进行目标降维，以检索相应的词表示，为每种语言选择一个词汇表，每种语言一套降维权重；当检索到相关词语时，将词语降维作为输入馈送到两个多层向量神经网络组成源语言的Encoder以及用于目标语言的Decoder。

在本发明的一些实施例中，上述还包括训练中梯度剪切以Adam做为优化器并预设学习率，形成编码参数序列文件，为Decoder提供解码所需数据支持。

在本发明的一些实施例中，上述通过已标标记数据的源语言和目标语言的句子对，引用注意力机制将源语言投影至目标语言包括第一Sequence-to-Sequence模型输入为已标标记数据的源语言句子，通过深度模型源语言句子得到一个高维空间的向量；第二Sequence-to-Sequence模型以第一个Sequence-to-Sequence模型输出的高维空间的向量为输入，逐渐解码目标语言句子。

在本发明的一些实施例中，上述还包括：注意力机制通过对目标语言Encoder与源语言的词之间的相似度，得到哪些源语言需要得到更多的关注；得到更多关注的源语言的词会在Encoder过程中加以更大的权重。