[发明专利]一种基于莱文斯坦比的文言文-现代文翻译系统构建方法

说明书

本发明公开一种基于莱文斯坦比的文言文‑现代文翻译系统构建方法，步骤为：通过互联网获取文言文‑现代文双语数据；对双语数据进行数据清洗得到预处理后的双语数据；对预处理后的双语数据使用基于莱文斯坦比的句对齐方法构建文言文‑现代文双语平行语料库；使用构建好的双语平行语料库基于Tensor2Tensor开源系统训练文言文‑现代文神经机器翻译模型；将训练完成的文言文‑现代文神经机器翻译模型进行封装，部署到线上，完成文言文‑现代文神经机器翻译系统的搭建。本发明在文言文‑现代文双语平行语料库空缺的情况下实现性能较好的文言文‑现代文神经翻译系统，文言文‑现代文双语平行语料库对于其他研究者将提供极大便利。

技术领域

本发明涉及一种翻译系统的构建方法，具体为一种基于莱文斯坦比的文言文-现代文翻译系统构建方法。

背景技术

自文化强国战略提出以来，我国经济、政治、文化的全球化发展，国与国之间的关系发展越来越密切，各国间的交流也越来越频繁。而中华上下五千年优秀传统文化的载体正是流传至今的古代文集和诗词古籍。但是由于古代汉语和现代汉语的差别较大，不仅阻碍了传统文化向国外的传播，连我们普通百姓阅读古籍都十分困难。

从国内来讲，目前古文翻译的受众群体主要是中学生、对古文有着浓厚兴趣的群组和专门从事古文研究的专业人士。对于他们而言，虽然有一定的古文翻译基础，但个别生僻词汇和短语仍然需要去查找翻译。而纸质资料查阅起来十分麻烦，在线的古文翻译系统像百度的文言文翻译，对古文的翻译依旧存在许多错误。这将对人们理解古文，了解优秀古代传统文化造成了极大的不便利。从国外来讲，外国友人所使用的在线翻译系统仅仅支持本国语言到中文的翻译，而中文到文言文的翻译却是一片空白，这将极大阻碍传统文化的全球化推广。

随着科技日新月异的发展，机器翻译技术成为人工智能里非常重要的一块领域。机器翻译，自20世纪30年代初露端倪以来，如今已取得了突破性进展。在提高翻译效率、改变翻译作业方式、促进翻译多元发展中起着至关重要的作用。随着科技的进步，机器翻译方法也在不断革新，从早期的基于规则的机器翻译，到20世纪90年代基于统计的机器翻译，再到现在随着深度学习而崛起的基于神经网络的机器翻译，每一次革新，都会为现代翻译业注入鲜活的生命力。

随着深度学习的不断发展，机器翻译中越来越多的开始采用神经网络学习方法，采用端到端的神经机器翻译(Neural Machine Translation，NMT)因此得到了快速发展。它直接使用神经网络实现源语到目标语的映射，相比于统计机器翻译，由于神经机器翻译不需要进行短语切分、词对齐等步骤，也无需句法分析等语言学知识支持，人工成本低并且开发周期短，因此成为谷歌、百度等国内外公司机器翻译系统的核心技术。

虽然现在的机器翻译技术逐渐成熟，在像英语、法语、德语等大众化语言上的翻译效果十分出色，但是对于小语种和方言支持的还是比较少的,而文言文翻译更是鲜有人来做。目前国内可以翻译小语种的平台主要是小牛翻译和百度翻译，而国际上主要是谷歌翻译。但是针对文言文-现代文的翻译平台国内外只有百度翻译少有涉及，但是目前翻译质量较低，与人工翻译文言文的水平还有一定差距。

目前无论是在国内还是国外，文言文-现代文机器翻译系统的研究都极度稀缺，文言文-现代文的平行语料更是少之又少，而且无法直接获取，文言文-现代文翻译仍处于一片空白的状态，严重阻碍了中国古代优秀传统文化的传播和推广。

发明内容

针对文言文-现代文双语数据无法直接获取平行语料搭建机器翻译系统，严重阻碍了中国古代优秀传统文化的传播和推广等不足，本发明要解决的技术问题是提供一种基于莱文斯坦比的文言文-现代文翻译系统构建方法，构建了文言文-现代文双语平行语料库，之后通过训练得到神经机器翻译系统，填补了国内外文言文-现代文机器翻译系统的空白。

为解决上述技术性问题，本发明采用的技术方案是：

本发明提供一种基于莱文斯坦比的文言文-现代文翻译系统构建方法，包括以下步骤：