[发明专利]基于IBMmodel的语料过滤方法及装置在审
| 申请号： | 202210095739.X | 申请日： | 2022-01-26 |
| 公开（公告）号： | CN114429123A | 公开（公告）日： | 2022-05-03 |
| 发明（设计）人： | 朱宪超;吴阳剑 | 申请（专利权）人： | 四川语言桥信息技术有限公司 |
| 主分类号： | G06F40/216 | 分类号： | G06F40/216;G06F40/284;G06F40/30 |
| 代理公司： | 北京知果之信知识产权代理有限公司 11541 | 代理人： | 高科 |
| 地址： | 610000 四川省成都市中国（四川）自由贸易试验区*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于IBMmodel的语料过滤方法及装置，通过搜集目标语言的海量训练语料，包含原文和其对应的标准译文；对原文和其对应的标准译文进行分词，得到第一集合；将所述第一集合输入IBMModel模型中训练，得出词对齐概率分布和词位置对齐概率分布；将需要过滤的目标语料进行分词处理，得到第二集合；根据所述词对齐概率分布和词位置对齐概率分布，计算所述第二集合中语言对之间的对齐概率得分；通过所述对齐概率得分判断是否过滤语料。使用这种方法，可以对语言对之间的语义是否一致进行判断，从而达到高效过滤脏数据的效果。 | ||
| 搜索关键词： | 基于 ibmmodel 语料 过滤 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于四川语言桥信息技术有限公司，未经四川语言桥信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210095739.X/，转载请声明来源钻瓜专利网。
