[发明专利]运用单语料回译的手语翻译方法及系统

说明书

本发明公开了一种运用单语料回译的手语翻译方法及系统，该方法可以使用易获取的单语料进行优化，通过建立“口语‑注释‑视频”的手语回译路线，从而可以从单语料的口语数据生成对应的视频特征序列，并参与到手语翻译的优化流程中，最终提高手语翻译方案的性能。

技术领域

本发明涉及手语识别和手语翻译技术领域，尤其涉及一种运用单语料回译的手语翻译方法及系统。

背景技术

手语是聋人群体主要使用的交流方式。然而，在现今口语占据绝对主导地位的社会里，聋人面临着严重的沟通障碍，给生活带了不便。为了实现聋人和听人的无障碍交流，手语翻译是非常重要的技术环节。不同于手语识别仅仅将手语视频转换为对应的手势符号，我们的手语翻译系统可以将连续的手语视频翻译为听人易理解的口语表达。

现有手语翻译系统的训练优化，多依赖大量成对的“手语-口语”标注数据。在机器翻译领域，大多需要百万级的数据量才能训练出一个可用的翻译器，在手语翻译领域也不例外。然而，手语视频数据的获取代价非常高昂，如果需要收集百万级的视频，需要招募非常多的聋人进行录制，需要进行前期的录制培训。同时，在数据收集好后，仍需招募专业的聋人翻译对视频进行标注。市面上的聋人翻译大多以小时收费，价格高昂，一般的研究机构很难承担这样高昂的标注费用。即使是大型企业，也难以承受这样的投入产出比。因此，高质量手语翻译系统的实现，需要找到低代价获取成对训练数据的方法。

手语数据的标注一般有两个层面，分为手语注释序列和口语表达序列。注释(gloss)是手语特有的一种标注方式，它的标注顺序与手语动作打出的顺序一致，且直接描述当前手语所表达的含义。手语注释序列符合手语打出的语序，而与口语语序不同。因此，如果能建立“口语-注释-视频”三个层面的关联，则可能建立一种低廉的从视频到口语的成对数据制造方法。相比手语视频，口语的语料数据量非常庞大，且容易搜集，借助上述数据制造方法，则可获取大量成对训练数据，这对提升手语系统的性能大有裨益。

现有的手语翻译方案对训练数据的需求非常大，一种解决思路是采集更多的标注数据，这种方案代价高昂，不易实际实施。另一种可能的解决思路是利用容易获取的单语料数据来生成训练数据，这一方案性价比非常高，但是还没有相关的参考技术，更没有成型的技术方案。

发明内容

本发明的目的是提供一种运用单语料回译的手语翻译方法及系统，借助易于获取的单语料数据，可以低廉地生成大量训练数据，从而提升整个手语翻译系统的性能，提升翻译质量。

本发明的目的是通过以下技术方案实现的：

一种运用单语料回译的手语翻译方法，包括：

训练阶段：通过特征提取器提取所有手语视频片段的特征，构成手语视频特征序列，并通过时域建模器，在时域层面对手语视频特征序列进行建模，结合给定的手语注释序列得到手语注释概率矩阵，同时对特征提取器进行训练；之后，利用手语视频特征序列与给定的手语注释序列构建手语片段特征库；利用单语料回译的方式结合单语料的口语序列集合生成注释序列集合，并在手语片段特征库中索引出对应的手语片段特征，通过拼接的方式按照时间顺序组成特征序列，从而得到对应的手语特征序列集合；利用单语料的口语序列集合与手语特征序列集合训练序列转换器，所述序列转换器用于将手语特征序列转换为口语文本；

测试阶段：对于待翻译的手语视频，利用训练阶段得到的特征提取器与序列转换器，完成手语视频到口语文本的翻译。

一种运用单语料回译的手语翻译系统，包括：通过前述方法中训练阶段的方式训练得到的特征提取器与序列转换器；对于待翻译的手语视频，采用测试阶段的方式完成手语视频到口语序列的翻译。

由上述本发明提供的技术方案可以看出，可以使用易获取的单语料进行优化，通过建立“口语-注释-视频”的手语回译路线，从而可以从单语料的口语数据生成对应的视频特征序列，并参与到手语翻译的优化流程中，最终提高手语翻译方案的性能。

附图说明