[发明专利]一种数据的处理方法及系统在审

专利信息
申请号: 202110677900.X 申请日: 2021-06-18
公开(公告)号: CN113407564A 公开(公告)日: 2021-09-17
发明(设计)人: 张聪;潘澳涔;贾立锋 申请(专利权)人: 浙江非线数联科技股份有限公司
主分类号: G06F16/242 分类号: G06F16/242;G06F16/245;G06K9/62
代理公司: 杭州裕阳联合专利代理有限公司 33289 代理人: 张解翠
地址: 311801 浙江省绍兴市诸暨*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 处理 方法 系统
【权利要求书】:

1.一种数据的处理方法,其特征在于,包括以下步骤:

获取训练数据,根据预设的治理方式分类规则对所述训练数据设置分类标签;

对所述分类标签设置对应的处理算法,并建立所述分类标签与所述处理算法的映射关系;

根据预设的属性分析方法提取得到所述训练数据的至少一个属性,其中所述属性分析方法包括多个对属性进行判断的属性分析子方法;

将所述训练数据对应的属性输入至xgboost分类模型中,结合所述训练数据对应的所述分类标签对xgboost分类模型进行训练,以得到训练好的xgboost分类模型;

获取待处理数据,并提取所述待处理数据的至少一个属性,将所述待处理数据的属性输入至所述训练好的xgboost分类模型中,以得到所述待处理数据的分类标签;

根据所述映射关系获取所述待处理数据的分类标签对应的处理算法,以根据获取得到的所述处理算法对所述待处理数据进行处理。

2.如权利要求1所述的数据的处理方法,其特征在于,所述属性分析方法采用并行的方式对所述训练数据进行每个所述属性分析子方法对应的属性判断,将每个属性分析子方法对应的判断结果进行记录,以获取得到所述训练数据的至少一个属性。

3.如权利要求1所述的数据的处理方法,其特征在于,所述训练数据对应唯一的分类标签,所述待处理数据对应唯一的所述分类标签。

4.如权利要求1所述的数据的处理方法,其特征在于,所述分类标签对应至少一个所述处理算法。

5.如权利要求4所述的数据的处理方法,其特征在于,所述根据所述映射关系获取所述待处理数据的分类标签对应的处理算法,以根据获取得到的所述处理算法对所述待处理数据进行处理,具体包括以下步骤:

根据映射关系获取所述待处理数据的分类标签对应的每个处理算法;

依照预设处理顺序依次根据获取得到的所述处理算法对所述待处理数据进行处理。

6.如权利要求1或2所述的数据的处理方法,其特征在于,所述属性包括:数据地址、字段类别、长度、标点和数学计算符号。

7.如权利要求1或2所述的数据的处理方法,其特征在于,所述属性分析子方法包括:

对所述训练数据或所述待处理数据的字段类别进行分析,将分析得到的字段类别作为属性;

判断所述训练数据或所述待处理数据中是否包括标点属性;

确定所述训练数据或所述待处理数据的数据长度;

判断所述训练数据或所述待处理数据中是否包括数学符号属性;

中的至少一个。

8.一种数据的处理系统,其特征在于,包括:

分类标签设置模块,用于获取训练数据,根据预设的治理方式分类规则对所述训练数据设置分类标签;

建立映射模块,用于对所述分类标签设置对应的处理算法,并建立所述分类标签与所述处理算法的映射关系;

属性提取模块,用于根据预设的属性分析方法提取得到所述训练数据的至少一个属性,其中所述属性分析方法包括多个对属性进行判断的属性分析子方法;

训练模块,用于将所述训练数据对应的属性输入至xgboost分类模型中,结合所述训练数据对应的所述分类标签对xgboost分类模型进行训练,以得到训练好的xgboost分类模型;

获取模块,获取待处理数据,并提取所述待处理数据的至少一个属性,将所述待处理数据的属性输入至所述训练好的xgboost分类模型中,以得到所述待处理数据的分类标签;

处理模块,用于根据所述映射关系获取所述待处理数据的分类标签对应的处理算法,以根据获取得到的所述处理算法对所述待处理数据进行处理。

9.一种数据的管理设备,其特征在于,包括存储器和处理器,所述存储器上保存有可在所述处理器上运行的数据管理程序,所述数据管理程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据的处理方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上保存有可在处理器上运行的数据管理程序,所述数据管理程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据的处理方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江非线数联科技股份有限公司,未经浙江非线数联科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110677900.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top