[发明专利]一种基于莱文斯坦比的文言文-现代文翻译系统构建方法

权利要求书

1.一种基于莱文斯坦比的文言文-现代文翻译系统构建方法，其特征在于包括以下步骤：

1)通过互联网获取文言文-现代文双语数据；

2)对双语数据进行数据清洗得到预处理后的双语数据；

3)对预处理后的双语数据使用基于莱文斯坦比的句对齐方法构建文言文-现代文双语平行语料库；

4)使用构建好的双语平行语料库训练文言文-现代文神经机器翻译模型；

5)将训练完成的文言文-现代文神经机器翻译模型进行封装，部署到线上，完成文言文-现代文神经机器翻译系统的搭建。

2.按权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法，其特征在于：步骤1)中获取文言文-现代文双语数据，步骤为：

101)使用搜索引擎得到含有文言文-现代文双语语料资源的网站作为数据来源；

102)对于文言文-现代文双语语料资源网站使用Requests库得到HTML网页；

103)对于得到的HTML网页使用Beautiful Soup库进行解析，得到文本内容；

104)对于文本内容利用正则表达式提取文言文-现代文双语数据。

3.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法，其特征在于：步骤2)中对双语数据进行数据清洗，包括去除HTML标签方法、过滤双语数据中乱码方法、过滤双语数据中括号内容不对应方法以及过滤双语数据词数过多方法，之后得到预处理后的双语数据。

4.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法，其特征在于：步骤3)中对权利要求3中经过预处理后的双语数据，使用基于莱文斯坦比的句对齐方法构建文言文-现代文双语平行语料库，步骤为：

301)将预处理后的双语数据进行分句处理；

302)取N句文言文和M句现代文(N＝1，M＝1)进行匹配，从文言文中取1句(N＝1)或依次取1～(N-1)句(N1)与现代文的1句计算莱文斯坦比，保存比值最高的结果，将对应的文言文和现代文从初始集合中去除；

303)循环执行步骤302)，直到文言文句对匹配结束或者现代文句对匹配结束；

304)对于步骤303)中得到的匹配后的双语句对，去除莱文斯坦比得分低于第一阈值或长度比大于第二阈值的句对，完成文言文-现代文双语平行语料库的构建。

5.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法，其特征在于：步骤4)使用构建好的双语平行语料库基于Tensor2Tensor开源系统训练文言文-现代文神经机器翻译模型，步骤为：

401)对文言文-现代文双语平行语料库数据进行分词预处理；

402)对于预处理后的数据提取校验集、训练集和测试集；

403)对于步骤402)中的训练集数据生成BPE词表，并做BPE切分生成Tensor2Tensor输入数据流；

404)对于Tensor2Tensor输入数据流进行模型训练，得到文言文-现代文神经机器翻译模型。

6.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法，其特征在于：步骤5)将训练完成的文言文-现代文神经机器翻译模型进行封装，部署到线上，完成文言文-现代文神经机器翻译系统的搭建，步骤为：

501)将训练好的文言文-现代文神经机器翻译模型通过Flask部署到服务器端；

502)通过socket建立端口与网页的连接，完成文言文-现代文神经机器翻译系统的搭建。