[发明专利]一种数据处理方法及装置有效
申请号: | 201810989080.6 | 申请日: | 2018-08-28 |
公开(公告)号: | CN109241112B | 公开(公告)日: | 2020-11-17 |
发明(设计)人: | 付少波;王志华;喻波;王志海;董爱华;安鹏 | 申请(专利权)人: | 北京明朝万达科技股份有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100097 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
采用Spark计算引擎对目标数据进行一次处理,获取对应的第一处理结果;所述第一处理结果具体为用户行为分析结果;
将所述第一处理结果保存至预置数据存储服务器中,所述预置数据存储服务器为Redis数据存储服务器;
应用服务器从所述Redis数据存储服务器中获取所述第一处理结果;
所述应用服务器按照预置规则对所述第一处理结果进行二次处理,以得到第二处理结果,并将所述第二处理结果写入搜索服务器中;所述第二处理结果用于判断用户行为异常;
所述预置数据存储服务器中预先保存有策略配置信息,所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果的步骤,包括:
所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息;所述应用服务器按照预置规则对所述第一处理结果进行二次处理,以得到第二处理结果的步骤,包括:
所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理,以得到所述第二处理结果;
其中,所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息,包括:在所述应用服务器侧设置定时器,以根据所述定时器设置的定时时间来获取存储在预置数据存储服务器中的第一处理结果。
2.根据权利要求1所述的方法,其特征在于,在所述采用计算引擎对目标数据进行一次处理,获取对应的第一处理结果的步骤之前,还包括:
获取待处理的目标数据。
3.根据权利要求1所述的方法,其特征在于,在所述应用服务器将所述第二处理结果写入搜索服务器中的步骤之后,还包括:
所述搜索服务器对所述第二处理结果执行聚合过滤处理;
展示所述聚合过滤处理结果。
4.一种数据处理装置,其特征在于,包括:
一次处理模块,用于采用Spark计算引擎对目标数据进行一次处理,获取对应的第一处理结果;所述第一处理结果为用户行为分析结果;
第一结果保存模块,用于将所述第一处理结果保存至预置数据存储服务器中,所述预置数据存储服务器为Redis数据存储服务器;
第一结果获取模块,用于应用服务器从所述Redis数据存储服务器中获取所述第一处理结果;
二次处理模块,用于所述应用服务器按照预置规则对所述第一处理结果进行二次处理,以得到第二处理结果;所述第二处理结果用于判断用户行为异常;
还包括:
写入模块,用于所述应用服务器将所述第二处理结果写入搜索服务器中;
所述预置数据存储服务器中预先保存有策略配置信息,所述第一结果获取模块包括:
第一结果及策略获取子模块,用于所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息;
所述二次处理模块包括:
二次处理子模块,用于所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理,以得到所述第二处理结果;
所述第一结果及策略获取子模块包括:
定时获取模块,用于在所述应用服务器侧设置定时器,以根据所述定时器设置的定时时间来获取存储在预置数据存储服务器中的第一处理结果。
5.根据权利要求4所述的装置,其特征在于,还包括:
目标数据获取模块,用于获取待处理的目标数据。
6.根据权利要求4所述的装置,其特征在于,还包括:
聚合过滤模块,用于所述搜索服务器对所述第二处理结果执行聚合过滤处理;
展示模块,用于展示所述聚合过滤处理结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明朝万达科技股份有限公司,未经北京明朝万达科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810989080.6/1.html,转载请声明来源钻瓜专利网。