[发明专利]样本扩充方法、终端、装置及可读存储介质有效
| 申请号: | 202010153415.8 | 申请日: | 2020-03-06 |
| 公开(公告)号: | CN111291560B | 公开(公告)日: | 2023-05-23 |
| 发明(设计)人: | 周楠楠;杨海军;徐倩 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
| 主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/247;G06F16/36;G06F16/335 |
| 代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 王韬 |
| 地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 样本 扩充 方法 终端 装置 可读 存储 介质 | ||
1.一种样本扩充方法,其特征在于,所述的样本扩充方法包括以下步骤:
在预设的已标注样本数据集中选出样本数据作为种子数据,并基于所述种子数据选取词数据;
获取所述词数据的词类型,并基于所述词类型确定所述已标注样本数据集的扩充方式;
基于所述扩充方式对所述种子数据中所述词数据进行更新,将更新后的种子数据作为扩充样本数据,以对所述已标注样本数据集进行扩充;
其中,所述获取所述词数据的词类型,并基于所述词类型确定所述已标注样本数据集的扩充方式的步骤包括:
当获取的词类型为无标签词时,利用服从均匀分布的预设随机函数产生筛选编号;
在预设扩充方式列表中查找与所述筛选编号相同的编号,将所述编号对应的扩充方式作为所述词数据对应的扩充方式,其中,所述扩充方式列表中各个扩充方式拥有各自的编号。
2.如权利要求1所述的样本扩充方法,其特征在于,所述基于所述词类型确定所述已标注样本数据集的扩充方式的步骤包括:
若所述词数据的词类型为无标签词,则确定所述已标注样本数据集的扩充方式为删除词方式、第一替换词方式或者插入词方式,所述第一替换词方式包括备选词替换方式和第一掩码替换方式;
若所述词数据的词类型为有标签词,则确定所述已标注样本数据集的扩充方式为第二替换词方式,所述第二替换词方式包括同义词替换方式和第二掩码替换方式。
3.如权利要求2所述的样本扩充方法,其特征在于,所述词类型为无标签词,所述扩充方式为第一替换词方式,所述基于所述词类型对应的扩充方式,对所述种子数据中所述词数据进行更新,将更新后的种子数据作为扩充样本数据的步骤包括:
在所述扩充方式为备选词替换方式时,在备选词库中选出所述词数据对应的第一备选词,并将所述种子数据中所述词数据替换为所述第一备选词,将替换后的所述种子数据作为所述扩充样本数据,其中,所述备选词库由已标注样本数据集生成;
在所述扩充方式为第一掩码替换方式时,将所述种子数据中所述词数据替换为预设掩码字符,将替换后的所述种子数据作为所述扩充样本数据。
4.如权利要求2所述的样本扩充方法,其特征在于,所述词类型为无标签词,所述扩充方式为删除词方式或者插入词方式,所述基于所述扩充方式对所述种子数据中所述词数据进行更新,将更新后的种子数据作为扩充样本数据的步骤包括:
在所述扩充方式为插入词方式时,在备选词库中选出所述词数据对应的第二备选词,并在所述种子数据中所述词数据的前方插入所述第二备选词,将更新后的所述种子数据作为所述扩充样本数据,其中,所述备选词库由已标注样本数据集生成;
在所述扩充方式为删除词方式时,在所述种子数据中删除所述词数据,将更新后的所述种子数据作为所述扩充样本数据。
5.如权利要求2所述的样本扩充方法,其特征在于,所述词类型为有标签词,所述基于所述扩充方式对所述种子数据中所述词数据进行更新,将更新后的种子数据作为扩充样本数据的步骤包括:
在所述扩充方式为同义词替换时,在所述预设的同义词库获取所述词数据对应的同义词列表,在所述同义词列表中选出所述词数据对应的第三备选词,并将所述种子数据中所述词数据替换为所述第三备选词,将替换后的所述种子数据作为所述扩充样本数据;
在所述扩充方式为第二掩码替换方式时,将所述种子数据中所述词数据替换为预设掩码字符,将更新后的所述种子数据作为所述扩充样本数据。
6.如权利要求1所述的样本扩充方法,其特征在于,所述在预设的已标注样本数据集中选出样本数据作为种子数据的步骤包括:
利用服从均匀分布的预设随机函数产生种子编号;
在所述已标注样本数据集中查找与所述种子编号相同的样本编号,将所述样本编号对应的样本数据作为所述种子数据,其中,所述已标注样本数据集中各个样本数据拥有各自的样本编号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010153415.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于多级漏电断路器组装设备
- 下一篇:一种正向喷伞方法、喷射装置及飞行器





