[发明专利]一种基于损失函数筛选具有高贡献度语料的方法及系统在审
| 申请号： | 202210325218.9 | 申请日： | 2022-03-30 |
| 公开（公告）号： | CN114662502A | 公开（公告）日： | 2022-06-24 |
| 发明（设计）人： | 宗浩;贝超;苑聪虎;张一鸣 | 申请（专利权）人： | 中译语通科技股份有限公司 |
| 主分类号： | G06F40/30 | 分类号： | G06F40/30;G06F40/205;G06K9/62;G06N3/04 |
| 代理公司： | 北京兴智翔达知识产权代理有限公司 11768 | 代理人： | 郭卫芹 |
| 地址： | 100131 北京市石景*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于机器翻译技术领域，具体公开了一种基于损失函数筛选具有高贡献度语料的方法及系统，其中方法包括以下步骤：设定筛选具有高贡献度语料的目标数量T；利用Transformer模型和基础大规模语料库，使用损失函数，对目标语料库A中所有数据按批次计算交叉熵得到语料库B；对计算交叉熵后的语料库B进行排序，选择前50％进行随机排列；重复步骤S1～S3，直至步骤S3中的语料库B的前50％随机排列的语料数量不小于目标数量T；将种子语料与步骤S4中筛选出的语料集合C中的所有语料进行语义相似度计算，并对结果排序得到语料库D；观察排序结果，并根据需要选取一定数量与种子语料最相似的语料作为最具有贡献度的语料。该方案节约成本，提升了筛选出语料的有效率。 | ||
| 搜索关键词： | 一种 基于 损失 函数 筛选 具有 贡献 语料 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中译语通科技股份有限公司，未经中译语通科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210325218.9/，转载请声明来源钻瓜专利网。
