[发明专利]海量数据结构化方法、装置、计算机设备及存储介质有效
申请号: | 201810515743.0 | 申请日: | 2018-05-25 |
公开(公告)号: | CN108717461B | 公开(公告)日: | 2021-03-26 |
发明(设计)人: | 黄度新;张川;金鑫;王翼 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/35 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请实施例公开了一种海量数据结构化方法、装置、计算机设备及存储介质。该方法包括:将非结构化数据进行聚类,得到与预设的聚类簇数对应的聚类结果,并设置与每一簇的聚类一一对应的ID编号;在聚类结果中每一簇的聚类中均获取一非结构化数据,并将所获取的非结构化数据对应转化为正则表达式;将每一簇的聚类中所包括的非结构化数据均根据该聚类对应的正则表达式进行转化,得到结构化数据。该方法实现由聚类算法将海量的非结构化数据做聚类,每个簇对应生成一个正则表达式并应用到该簇的所有数据,这样海量非结构化数据都能快速转化为结构化数据,能快速的满足深度学习所需训练数据的需求。 | ||
搜索关键词: | 海量 数据结构 方法 装置 计算机 设备 存储 介质 | ||
【主权项】:
1.一种海量数据结构化方法,其特征在于,包括:将非结构化数据进行聚类,得到与预设的聚类簇数对应的聚类结果,并设置与每一簇的聚类一一对应的ID编号;在聚类结果中每一簇的聚类中均获取一非结构化数据,并将所获取的非结构化数据对应转化为正则表达式;将每一簇的聚类中所包括的非结构化数据均根据该聚类对应的正则表达式进行转化,得到结构化数据。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810515743.0/,转载请声明来源钻瓜专利网。
- 上一篇:一种在区块链中达成共识的方法及装置
- 下一篇:一种数据库快照验证方法及系统