[发明专利]文本样本扩充方法、装置、电子设备和计算机可读介质在审
申请号: | 202211052279.9 | 申请日: | 2022-08-31 |
公开(公告)号: | CN115422326A | 公开(公告)日: | 2022-12-02 |
发明(设计)人: | 高杰 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35 |
代理公司: | 北京唯智勤实知识产权代理事务所(普通合伙) 11557 | 代理人: | 史立状 |
地址: | 101116 北京市大兴区北京经济*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 样本 扩充 方法 装置 电子设备 计算机 可读 介质 | ||
1.一种文本样本扩充方法,包括:
将初始文本样本集中对应的文本标签为目标文本标签的初始文本样本确定为待扩充文本样本,得到待扩充文本样本集,其中,所述目标文本标签满足预设少数类条件;
对于所述待扩充文本样本集中的每个待扩充文本样本,执行以下扩充步骤:
根据目标扩充词性信息,确定所述待扩充文本样本包括的遮挡词;
根据所述待扩充文本样本包括的遮挡词,生成至少一个替换词;
根据所述待扩充文本样本和所述至少一个替换词中的每个替换词,生成扩充文本样本,得到扩充文本样本集合;
将所述初始文本样本集和所得到的扩充文本样本集合组合为文本样本集。
2.根据权利要求1所述的方法,其中,所述根据所述待扩充文本样本包括的遮挡词,生成至少一个替换词,包括:
根据所述待扩充文本样本包括的遮挡词,生成遮挡待扩充文本样本;
将对应所述遮挡待扩充文本样本的各个词语的文本编码集合、文本位置标识集合和词语标签集合输入至预设同类词语生成模型,得到至少一个替换词。
3.根据权利要求2所述的方法,其中,所述根据所述待扩充文本样本和所述至少一个替换词中的每个替换词,生成扩充文本样本,得到扩充文本样本集合,包括:
对所述待扩充文本样本包括的各个遮挡词对应的替换词进行排列组合,得到替换词组集,其中,所述待扩充文本样本包括的每个遮挡词对应的至少一个替换词的数量为预设替换词数量;
对于所述替换词组集中的每个替换词组,将所述待扩充文本样本包括的各个遮挡词分别替换为所述替换词组中的各个替换词,得到替换文本样本。
4.根据权利要求3所述的方法,其中,所述至少一个替换词中的每个替换词对应有替换词标签;以及
所述根据所述待扩充文本样本和所述至少一个替换词中的每个替换词,生成扩充文本样本,得到扩充文本样本集合,还包括:
对于所得到的替换文本样本中的每个替换文本样本,根据所述替换文本样本中各个替换词对应的替换词标签,生成替换文本样本标签;
根据所生成的替换文本样本标签,对所得到的替换文本样本进行排序,得到替换文本样本序列;
从所述替换文本样本序列中选择预设数量的替换文本样本作为扩充文本样本,得到扩充文本样本集合。
5.根据权利要求4所述的方法,其中,在所述根据所述待扩充文本样本和所述至少一个替换词中的每个替换词,生成扩充文本样本,得到扩充文本样本集合之后,所述扩充步骤还包括:
根据所述扩充文本样本集合和所述待扩充文本样本,生成样本文本分类结果;
响应于所述样本文本分类结果与所述目标文本标签不一致,删除所述扩充文本样本集合。
6.根据权利要求1所述的方法,其中,所述方法还包括:
根据所述文本样本集对初始文本分类模型进行训练,得到训练完成的初始文本分类模型作为文本分类模型。
7.根据权利要求1所述的方法,其中,所述根据目标扩充词性信息,确定所述待扩充文本样本包括的遮挡词,包括:
根据目标扩充词性信息,确定所述待扩充文本样本包括的目标词,得到目标词集合;
根据预设遮挡词比例和所述目标词集合,确定遮挡数量;
从所述目标词集合中选择所述遮挡数量的目标词分别作为遮挡词。
8.一种文本样本扩充装置,包括:
确定单元,被配置成将初始文本样本集中对应的文本标签为目标文本标签的初始文本样本确定为待扩充文本样本,得到待扩充文本样本集,其中,所述目标文本标签满足预设少数类条件;
扩充单元,被配置成对于所述待扩充文本样本集中的每个待扩充文本样本,执行以下扩充步骤:根据目标扩充词性信息,确定所述待扩充文本样本包括的遮挡词;根据所述待扩充文本样本包括的遮挡词,生成至少一个替换词;根据所述待扩充文本样本和所述至少一个替换词中的每个替换词,生成扩充文本样本,得到扩充文本样本集合;
组合单元,被配置成将所述初始文本样本集和所得到的扩充文本样本集合组合为文本样本集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211052279.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种田径运动员力量训练装置
- 下一篇:体感设备的数据传输方法