[发明专利]一种数据表分类、模型训练方法、装置、设备及介质在审
申请号: | 202110251153.3 | 申请日: | 2021-03-08 |
公开(公告)号: | CN113032494A | 公开(公告)日: | 2021-06-25 |
发明(设计)人: | 刘军营 | 申请(专利权)人: | 浙江大华技术股份有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/26 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 赵凯莉 |
地址: | 310053 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据表 分类 模型 训练 方法 装置 设备 介质 | ||
1.一种数据表分类方法,其特征在于,所述方法包括:
获取数据表中的每个字段信息;
根据所述每个字段信息,确定所述数据表的每个第一实体要素信息;
将所述每个第一实体要素信息输入预先训练完成的数据表分类模型,基于所述数据表分类模型确定所述数据表的类别信息。
2.如权利要求1所述的方法,其特征在于,所述获取数据表中的每个字段信息;根据所述每个字段信息,确定所述数据表的每个第一实体要素信息包括:
获取数据表的每个字段名和字段注释;
将所述每个字段名和字段注释,分别输入预先训练完成的第一实体要素信息确定模型,基于所述第一实体要素信息确定模型,确定所述数据表的每个第一实体要素信息。
3.如权利要求1所述的方法,其特征在于,所述根据所述每个字段信息,确定所述数据表的每个第一实体要素信息之后,将所述每个第一实体要素信息输入预先训练完成的数据表分类模型之前,所述方法还包括:
针对每个字段信息,获取所述数据表中所述字段信息对应的每条数据;根据所述每条数据确定所述字段信息对应的第二实体要素信息;判断所述字段信息对应的第一实体要素信息和所述第二实体要素信息是否相同,如果是,保留所述第一实体要素信息,如果否,删除所述第一实体要素信息;
所述将所述每个第一实体要素信息输入预先训练完成的数据表分类模型包括:
将保留的每个第一实体要素信息输入预先训练完成的数据表分类模型。
4.如权利要求3所述的方法,其特征在于,所述根据所述每条数据确定所述字段信息对应的第二实体要素信息包括:
针对所述每条数据,将该条数据输入预先训练完成的第二实体要素信息确定模型,基于所述第二实体要素信息确定模型,确定该条数据对应的第三实体要素信息;
统计所述每条数据分别对应的第三实体要素信息,将相同的数量最多的第三实体要素信息作为所述字段信息对应的第二实体要素信息。
5.如权利要求4所述的方法,其特征在于,所述统计所述每条数据分别对应的第三实体要素信息之后,将相同的数量最多的第三实体要素信息作为所述字段信息对应的第二实体要素信息之前,所述方法还包括:
判断所述相同的数量最多的第三实体要素信息的数量在每条数据分别对应的第三实体要素信息总数量中的占比是否大于预设的比例阈值,如果是,进行后续将相同的数量最多的第三实体要素信息作为所述字段信息对应的第二实体要素信息的步骤;
如果所述相同的数量最多的第三实体要素信息的数量在每条数据分别对应的第三实体要素信息总数量中的占比不大于预设的比例阈值,所述方法还包括:
删除所述字段信息对应的第一实体要素信息。
6.一种数据表分类模型训练方法,其特征在于,所述方法包括:
针对训练集中的每个数据表,确定该数据表中的每个字段信息对应的实体要素信息;将该数据表中的每个实体要素信息和该数据表对应的类别标签信息输入到数据表分类模型,对所述数据表分类模型进行训练。
7.一种数据表分类装置,其特征在于,所述装置包括:
获取模块,用于获取数据表中的每个字段信息;
第一确定模块,用于根据所述每个字段信息,确定所述数据表的每个第一实体要素信息;
第二确定模块,用于将所述每个第一实体要素信息输入预先训练完成的数据表分类模型,基于所述数据表分类模型确定所述数据表的类别信息。
8.如权利要求7所述的装置,其特征在于,所述获取模块,具体用于获取数据表的每个字段名和字段注释;
所述第一确定模块,具体用于将所述每个字段名和字段注释,分别输入预先训练完成的第一实体要素信息确定模型,基于所述第一实体要素信息确定模型,确定所述数据表的每个第一实体要素信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大华技术股份有限公司,未经浙江大华技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110251153.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种便于婴儿入睡的母婴驱虫护理床
- 下一篇:一种高精度腕部血压计