[发明专利]机器翻译模型的自动训练方法、平台、电子设备、及存储介质有效
| 申请号: | 202010170720.8 | 申请日: | 2020-03-12 |
| 公开(公告)号: | CN111310484B | 公开(公告)日: | 2021-07-06 |
| 发明(设计)人: | 赵程绮;李磊;周浩;王明轩;潘骁 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
| 主分类号: | G06F40/58 | 分类号: | G06F40/58;G06N20/00 |
| 代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 范坤坤 |
| 地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 机器翻译 模型 自动 训练 方法 平台 电子设备 存储 介质 | ||
1.一种机器翻译模型的自动训练方法,其特征在于,包括;
将至少一个翻译环节进行可视化展示;
获取用户输入的针对待训练目标模型的训练指令;
根据所述训练指令确定至少一个待执行翻译环节和配置信息,获取所述至少一个待执行翻译环节的脚本文件,并将所获取的脚本文件根据所述配置信息进行参数配置后关联在一起;
运行关联后的脚本文件,以训练所述目标模型;
所述获取所述至少一个待执行翻译环节的脚本文件,并将所获取的脚本文件根据所述配置信息进行参数配置后关联在一起,包括:
执行预定脚本以执行如下操作:
根据预定命名规则和预定路径规则,取出各待执行翻译环节的脚本文件;
获取所述目标模型的训练流程对应的关联规则,将所取出的脚本文件根据所述配置信息进行参数配置后,将配置后的所述脚本文件根据所述关联规则关联在一起。
2.根据权利要求1所述的自动训练方法,其特征在于,所述方法还包括:在运行关联后的脚本文件的过程中,将产生的中间文件和结果文件根据所述预定命名规则进行命名,并根据所述预定路径规则进行存储。
3.根据权利要求2所述的自动训练方法,其特征在于,各翻译环节的脚本文件、中间文件和结果文件基于分布式文件系统存储。
4.根据权利要求1所述的自动训练方法,其特征在于,所述将至少一个翻译环节进行可视化展示包括:
将各翻译环节的名称和各翻译环节之间的顺序信息进行展示。
5.根据权利要求4所述的自动训练方法,其特征在于,所述将至少一个翻译环节进行可视化展示还包括:
展示各翻译环节的核心关联文件的映射接口和/或核心关联文件夹的资源映射接口;
所述方法还包括:
从所述核心关联文件的映射接口接收用户的可视化操作指令后,打开所述可视化操作指令对应的核心关联文件;
从所述核心关联文件夹的资源映射接口接收用户的可视化操作指令后,打开所述可视化操作指令对应的核心关联文件夹,以呈现所述核心关联文件夹内部的文件和/或子文件夹。
6.根据权利要求4所述的自动训练方法,其特征在于,所述将至少一个翻译环节进行可视化展示还包括:
展示各翻译环节的配置信息接口;
所述方法还包括:
接收用户在所述配置信息接口的可视化操作,根据所述可视化操作修改对应的配置信息;
将所获取的脚本文件根据所述配置信息进行参数配置包括:
将所获取的脚本文件根据所述修改后的配置信息进行参数配置。
7.根据权利要求4所述的自动训练方法,其特征在于,所述将至少一个翻译环节进行可视化展示还包括:
展示预定翻译环节的元数据,所述元数据包括数据文件规模或模型文件的评测结果。
8.根据权利要求1所述的自动训练方法,其特征在于,所述运行关联后的脚本文件,以训练所述目标模型包括:
基于分布式文件系统和图形处理器GPU集群技术运行关联后的脚本文件,以训练所述目标模型。
9.根据权利要求1-8任一项所述的自动训练方法,其特征在于,所述各翻译环节包括以下至少一项:
平行句对提取环节、对齐度分析环节、数据预处理环节、模型训练环节、模型验证环节。
10.根据权利要求1-8任一项所述的自动训练方法,其特征在于,所述各翻译环节包括以下至少一项:
预定义数据清洗环节、数据预处理环节、模型训练环节、模型推断评估环节和模型上线环节。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010170720.8/1.html,转载请声明来源钻瓜专利网。





