[发明专利]一种数据流处理方法、装置、计算设备及存储介质在审
| 申请号: | 202010768030.2 | 申请日: | 2020-08-03 |
| 公开(公告)号: | CN111881995A | 公开(公告)日: | 2020-11-03 |
| 发明(设计)人: | 赵曦滨;万海;张豪;黄潇 | 申请(专利权)人: | 清华大学 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/08;G06F17/11 |
| 代理公司: | 北京科领智诚知识产权代理事务所(普通合伙) 11782 | 代理人: | 陈士骞 |
| 地址: | 100089*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据流 处理 方法 装置 计算 设备 存储 介质 | ||
1.一种数据流处理方法,其特征在于,包括:
接收待处理数据;
将待处理数据输入异常检测模型,得到预测标签,所述异常检测模型通过引入在线优化的代价向量训练得到;
根据预测标签对待处理数据进行分类。
2.根据权利要求1所述的方法,其特征在于,所述异常检测模型的训练步骤,包括:
根据预先获得的参数化方程分别初始化三个异常检测模型代价向量,将三个异常检测模型的分数置零,所述三个异常检测模型仅代价向量的特征参数取值不同,且并行处理相同的数据流,其中
第二异常检测模型的特征参数的取值为第一异常检测模型的特征参数减去范围参数,第三异常检测模型的特征参数的取值为第一异常检测模型的特征参数的加上范围参数;
接收待测样本,将待测样本输入所述第一异常检测模型、所述第二异常检测模型以及第三异常检测模型,分别得到第一预测标签、第二预测标签以及第三预测标签;
接收待测样本对应的真实标签,根据真实标签与所述第一预测标签、第二预测标签以及第三预测标签是否一致,对所述第一异常检测模型、所述第二异常检测模型、所述第三异常检测模型进行更新;
在更新参数模型后,对所述第一异常检测模型、所述第二异常检测模型以及所述第三异常检测模型在样本数据上的表现进行评分,得到第一分数、第二分数、第三分数;
在接收到预设数目的待测样本之后,根据第二异常检测模型的代价向量以及第二分数、第三异常检测模型的代价向量以及第三分数和预设的特征参数迭代公式,更新第一异常检测模型的代价向量的特征参数,以及更新所述第一异常检测模型、所述第二异常检测模型以及第三异常检测模型的代价向量;将三个异常检测模型分数置零,继续接收待测样本,并不断更新所述第一异常检测模型的代价向量。
3.根据权利要求2所述的方法,其特征在于,所述根据预先获得的参数化方程分别初始化三个异常检测模型代价向量的步骤中,所述预先获得的参数化方程包括以下形式:
其中,ρ为第一异常检测模型的代价向量的特征参数,Δ为范围参数,为第一异常检测模型的代价向量,为第二异常检测模型的代价向量,为第三异常检测模型的代价向量。
4.根据权利要求2所述的方法,其特征在于,所述在接收到预设数目的待测样本之后,根据第二异常检测模型的代价向量以及第二分数、第三异常检测模型的代价向量以及第三分数和预设的特征参数迭代公式,更新第一异常检测模型的代价向量的特征参数,以及更新所述第一异常检测模型、所述第二异常检测模型以及第三异常检测模型的代价向量的步骤中,所述预设的特征参数迭代公式包括以下形式:
其中,ρ′为更新后的第一异常检测模型的代价向量的特征参数,ρ为第一异常检测模型的代价向量的特征参数,ηρ为第一异常检测模型代价向量的特征参数的学习率,为第二异常检测模型的代价向量,为第三异常检测模型的代价向量,ml为第二分数,mr为第三分数,Δ为范围参数。
5.一种数据流处理装置,其特征在于,包括接收模块、预测模块、分类模块,其中
所述接收模块,被配置为接收待处理数据;
所述预测模块,被配置为将待处理数据输入异常检测模型,得到预测标签,所述异常检测模型通过引入在线优化的代价向量训练得到;
所述分类模块,被配置为根据预测标签对待处理数据进行分类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010768030.2/1.html,转载请声明来源钻瓜专利网。





