[发明专利]数据的处理方法、装置、电子设备及存储介质有效
| 申请号: | 201811204512.4 | 申请日: | 2018-10-16 |
| 公开(公告)号: | CN109522424B | 公开(公告)日: | 2020-04-24 |
| 发明(设计)人: | 张志伟;李铅;郑仲奇 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
| 主分类号: | G06F16/40 | 分类号: | G06F16/40;G06F16/41 |
| 代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
| 地址: | 100084 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据的处理方法,其特征在于,所述方法包括:
通过标签分类模型包括的已有标签对第一样本集中的样本进行标签标注,得到第二样本集;
获取所述第二样本集中的未标注所述已有标签的目标样本,其中,所述第二样本集中包括标注有所述已有标签的样本和未标注有所述已有标签的样本;
获取针对所述目标样本设置的描述信息;
将所述描述信息与标签库包括的标签进行相似度计算,确定与所述描述信息的相似度最高的标签为新标签;其中,所述标签库包括:词库中的单词和/或所述已有标签;
通过所述新标签对所述第二样本集中的目标样本进行标注,得到包括所述目标样本以及所述目标样本对应的新标签的第三样本集;
其中,所述将所述描述信息与标签库包括的标签进行相似度计算,确定与所述描述信息的相似度最高的标签为新标签,包括:
将所述描述信息与词库包括的单词进行相似度计算,和/或将所述描述信息与所述已有标签进行相似度计算,确定与所述描述信息的相似度最高的单词或已有标签为新标签;
所述方法还包括:将所述新标签添加进所述标签分类模型中的标签体系,以进一步完善所述标签分类模型。
2.根据权利要求1所述的方法,其特征在于,所述词库包括多个用于与所述描述信息进行相似度计算的单词。
3.根据权利要求1所述的方法,其特征在于,所述将所述描述信息与词库包括的单词进行相似度计算,和将所述描述信息与所述已有标签进行相似度计算,确定与所述描述信息的相似度最高的单词或已有标签为新标签,包括:
获取所述描述信息对应的分词集合;
去除所述词库中与所述已有标签匹配的单词;
通过词向量模型获取所述分词集合包括的分词对应的平均词向量,所述词库中单词对应的单词向量,以及所述已有标签对应的标签向量;
计算所述平均词向量与每个所述单词向量之间的向量距离,以及所述平均词向量与每个所述标签向量之间的向量距离;
确定与所述平均词向量的向量距离最小的单词向量为目标单词向量,将所述目标单词向量对应的单词为新标签;
确定与所述平均词向量的向量距离最小的标签向量为目标标签向量,将所述目标标签向量对应的已有标签为新标签。
4.根据权利要求3所述的方法,其特征在于,所述描述信息包括:描述语句;所述获取所述描述信息对应的分词集合,包括:
通过分词工具对所述描述语句进行分词处理,得到多个分词;
去除所述多个分词中的停用词,得到所述分词集合。
5.根据权利要求3所述的方法,其特征在于,所述描述信息包括:多个描述词;所述获取所述描述信息对应的分词集合,包括:
去除所述多个描述词中的停用词,得到所述分词集合。
6.根据权利要求3所述的方法,其特征在于,所述向量距离为夹角余弦距离。
7.一种数据的处理装置,其特征在于,所述装置包括:
第一标注模块,用于通过标签分类模型包括的已有标签对第一样本集中的样本进行标签标注,得到第二样本集;
第一获取模块,用于获取所述第二样本集中的未标注所述已有标签的目标样本,其中,所述第二样本集中包括标注有所述已有标签的样本和未标注有所述已有标签的样本;
第二获取模块,用于获取针对所述目标样本设置的描述信息;
确定模块,用于将所述描述信息与标签库包括的标签进行相似度计算,确定与所述描述信息的相似度最高的标签为新标签;其中,所述标签库包括:词库中的单词和/或所述已有标签;
第二标注模块,用于通过所述新标签对所述第二样本集中的目标样本进行标注,得到包括所述目标样本以及所述目标样本对应的新标签的第三样本集;
其中,所述确定模块包括:
确定子模块,用于将所述描述信息与词库包括的单词进行相似度计算,和/或将所述描述信息与所述已有标签进行相似度计算,确定与所述描述信息的相似度最高的单词或已有标签为新标签;
所述装置还包括:添加模块,所述添加模块用于将所述新标签添加进所述标签分类模型中的标签体系,以进一步完善所述标签分类模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811204512.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





