[发明专利]基于机器学习的数据分类方法及系统有效
申请号: | 201711235660.8 | 申请日: | 2017-11-30 |
公开(公告)号: | CN108021940B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 黄自力;杨阳;陈舟;朱浩然 | 申请(专利权)人: | 中国银联股份有限公司 |
主分类号: | G06F18/24 | 分类号: | G06F18/24;G06F18/27;G06F18/214;G06F18/21 |
代理公司: | 中国专利代理(香港)有限公司 72001 | 代理人: | 王星;杨美灵 |
地址: | 200135 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 机器 学习 数据 分类 方法 系统 | ||
1.一种用于识别恶意网页的数据分类方法,包括:
a)、采用第一批多种机器学习算法,分别对数据集进行采集、并进行学习训练,以形成与所述第一批多种机器学习算法相对应的第一批多个分类模型;
b)、利用所述第一批多个分类模型中的各分类模型分别对来自所述数据集的第一数据特征进行分类计算,以得到第一分类结果;
c)、设立第N批多个迭代模型,以所述第N批多个迭代模型中的各迭代模型分别获取所述第一分类结果和所述第一数据特征来形成第二数据特征,并基于所述第二数据特征进行学习训练;其中,N为大于等于1的正整数;
d)、利用各所述迭代模型分别对所述第二数据特征进行分类计算,以得到第二分类结果;
e)、衡量所述第二分类结果与期望分类结果的接近程度;
f)、若所述接近程度满足第一条件,则输出所述第二分类结果,所述方法结束;否则,N自增1,且以所述第二分类结果作为所述第一分类结果,所述方法回到步骤c)迭代执行,
其中,所述第一条件包括:所述第二分类结果是收敛的,
其中,所述第一批多种机器学习算法包括:逻辑回归算法;支持向量机算法;朴素贝叶斯算法;K近邻算法;BP神经网络算法;决策树算法;DNN算法;RNN算法;以及,CNN算法,
其中,所述第N批多个迭代模型中的各所述迭代模型分别采用第二批多种机器学习算法中的一个,所述第二批多种机器学习算法包括:Adaboost算法;随机森林算法;梯度提升决策树算法;以及,eXtreme GradientBoosting算法。
2.根据权利要求1所述的方法,其特征在于,所述步骤d)进一步包括:
自主地调节各所述迭代模型所采用的参数。
3.根据权利要求1所述的方法,其特征在于,每次迭代执行所述步骤c)时,使得第K+1批多个迭代模型中的所述迭代模型的数量小于或等于第K批多个迭代模型中的所述迭代模型的数量,其中K为大于等于1的正整数。
4.根据权利要求3所述的方法,其特征在于,每次迭代执行所述步骤c)时,使得所述第K+1批多个迭代模型各自对应的机器学习算法在算法优先级上高于或等于所述第K批多个迭代模型各自对应的机器学习算法。
5.根据权利要求3所述的方法,其特征在于,迭代执行所述步骤c)的次数至少为1。
6.根据权利要求1所述的方法,其特征在于,所述步骤c)还包括:
对所述第二数据特征进行特征处理,以使得所述第N批多个迭代模型能够直接依据所述特征处理的结果来进行分类计算。
7.根据权利要求1所述的方法,其特征在于,在所述步骤e)中,衡量所述接近程度包括:
计算所述第二分类结果的分类准确率、分类召回率、以及F度量。
8.一种用于识别恶意网页的数据分类系统,该系统包括:
数据分类模块,包括第一批多个分类模型,所述第一批多个分类模型中的各分类模型分别采用第一批多种机器学习算法中的一个对数据集进行采集、并进行学习训练,以及,对来自所述数据集的第一数据特征进行分类计算,以得到第一分类结果;
数据迭代模块,其初始化地设立或基于筛选器的通知而逐次设立第N批多个迭代模型,以所述第N批多个迭代模型中的各迭代模型分别获取所述第一分类结果和所述第一数据特征来形成第二数据特征,并基于所述第二数据特征进行学习训练,以及,利用各所述迭代模型分别对所述第二数据特征进行分类计算,以得到第二分类结果;其中,N为大于等于1的正整数;以及
所述筛选器,其衡量所述第二分类结果与期望分类结果的接近程度,以及,在所述接近程度满足第一条件时输出所述第二分类结果,否则,N自增1,以所述第二分类结果作为所述第一分类结果,并向所述数据迭代模块发出所述通知,
其中,所述第一条件包括:所述第二分类结果是收敛的,
其中,所述第一批多种机器学习算法包括:逻辑回归算法;支持向量机算法;朴素贝叶斯算法;K近邻算法;BP神经网络算法;决策树算法;DNN算法;RNN算法;以及,CNN算法,
其中,所述第N批多个迭代模型中的各所述迭代模型分别采用第二批多种机器学习算法中的一个,所述第二批多种机器学习算法包括:Adaboost算法;随机森林算法;梯度提升决策树算法;以及,eXtreme Gradient Boosting算法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国银联股份有限公司,未经中国银联股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711235660.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:提高电子产品散热效率的冷却机构
- 下一篇:一种剪切机自动控制系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置