[发明专利]机器翻译模型的训练方法和机器翻译方法在审
| 申请号: | 202111475509.8 | 申请日: | 2021-12-06 |
| 公开(公告)号: | CN114372480A | 公开(公告)日: | 2022-04-19 |
| 发明(设计)人: | 林欢;姚亮;杨宝嵩;张海波;骆卫华 | 申请(专利权)人: | 阿里巴巴达摩院(杭州)科技有限公司 |
| 主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/216;G06K9/62 |
| 代理公司: | 北京成创同维知识产权代理有限公司 11449 | 代理人: | 刘静 |
| 地址: | 311121 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 机器翻译 模型 训练 方法 | ||
1.一种机器翻译模型的训练方法,包括:
获得特定用户的待翻译文本和所述待翻译文本的期望译文;
获得所述待翻译文本的第一编码表达,以及,
获得用于表征所述特定用户的语言特征的第二编码表达;
根据所述第一编码表达和所述第二编码表达,获得输入给所述机器翻译模型的第三编码表达,以及所述待翻译文本的翻译结果;
根据所述待翻译文本的翻译结果与所述待翻译文本的期望译文计算损失值;
如果所述损失值大于或等于预设阈值,则根据所述损失值调整所述机器翻译模型的权重参数;
如果所述损失值小于预设阈值,则停止所述训练方法。
2.根据权利要求1所述的训练方法,其中,所述获得用于表征所述特定用户的语言特征的第二编码表达包括:
判断所述特定用户的历史输入是否存在;
如果存在,基于所述特定用户的历史输入提取关键词,并基于所述关键词获得所述第二编码表达。
3.根据权利要求2所述的训练方法,其中,所述基于所述特定用户的历史输入提取关键词,并基于所述关键词获得所述第二编码表达包括:
基于所述待翻译文本与所述特定用户的历史输入获得上下文关键词;
基于所述待翻译文本与所有用户的历史输入获得主题关键词;
基于所述上下文关键词和所述主题关键词分别求取对应的编码表达;以及
根据所述上下文关键词和所述主题关键词分别对应的编码表达通过权重求和计算得到所述第二编码表达,其中,所述权重求和计算中的权重为可学习的参数矩阵。
4.根据权利要求3所述的训练方法,其中,所述根据所述上下文关键词和所述主题关键词分别对应的编码表达通过权重求和计算得到所述第二编码表达包括:
将所述上下文关键词和所述主题关键词分别对应的编码表达分别与一参数矩阵进行矩阵相乘再求和计算,并将计算结果代入给一激活函数,以得到小于1的第一数值;
将所述第一数值与所述主题关键词对应的编码表达相乘,得到第一乘积;
将数值1与所述第一数值的差再乘以所述上下文关键词对应的编码表达得到第二乘积;
将所述第一乘积与所述第二乘积之和作为所述第二编码表达。
5.根据权利要求3所述的训练方法,还包括:基于所述损失值调整所述上下文关键词和所述主题关键词分别对应的编码表达在权重求和计算中各自的权重。
6.根据权利要求3所述的训练方法,所述获得用于表征所述特定用户的语言特征的第二编码表达还包括:
如果所述特定用户的历史输入不存在,则基于TF-IDF余弦相似度确定所述特定用户的最相似用户,并以所述最相似用户的历史输入作为所述特定用户的历史输入,以获得所述第二编码表达。
7.根据权利要求3所述的训练方法,其中,结合TD-IDF算法获得所述上下文关键词和所述主题关键词。
8.根据权利要求1所述的训练方法,其中,用于计算所述损失值的损失函数由所述待翻译文本的翻译结果与所述待翻译文本的期望译文之间的最大似然性损失以及所述特定用户、最相似用户和任意选取的不相似用户的历史译文的对比损失构成。
9.一种机器翻译模型的训练装置,包括:
预处理模块,用于接收特定用户的待翻译文本和待翻译文本的期望译文,并获得所述待翻译文本的第一编码表达,获得表征所述特定用户的语言特征的第二编码表达,并根据所述第一编码表达和所述第二编码表达获得第三编码表达;
损失计算模块,用于将所述第三编码表达输入给所述机器翻译模型,以得到所述待翻译文本的翻译结果,并基于所述待翻译文本的翻译结果与所述待翻译文本的期望译文计算之间损失值;
参数更新模块,用于基于所述损失值调整所述机器翻译模型的权重参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴达摩院(杭州)科技有限公司,未经阿里巴巴达摩院(杭州)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111475509.8/1.html,转载请声明来源钻瓜专利网。





