[发明专利]结合多因子分析技术和MapReduce技术的海量数据简化及处理系统有效
| 申请号： | 201710352944.9 | 申请日： | 2017-05-18 |
| 公开（公告）号： | CN107315769B | 公开（公告）日： | 2021-03-12 |
| 发明（设计）人： | 杨磊 | 申请（专利权）人： | 北京安点科技有限责任公司 |
| 主分类号： | G06F16/2458 | 分类号： | G06F16/2458;G06F16/215 |
| 代理公司： | 北京方圆嘉禾知识产权代理有限公司 11385 | 代理人： | 董芙蓉 |
| 地址： | 100142 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种结合多因子分析技术和MapReduce技术的海量数据简化及处理系统，包括一个或数个数据采集及预处理模块、处理节点调度模块、数据处理模块、数据结果汇总模块；其中，处理节点调度模块通过有线或无线的方式分别与数据采集及预处理模块、数据处理模块连接，同时，数据处理模块通过有线或无线的方式还与数据结果汇总模块连接，本发明利用多因子分析技术对海量工业网络数据进行简化，MapReduce技术进行分布式处理，两者相结合以达到对海量数据的高效处理，及时快速的反应网络当前状态及进行威胁预判。 | ||
| 搜索关键词： | 结合 因子分析 技术 mapreduce 海量 数据 简化 处理 系统 | ||
【主权项】：
结合多因子分析技术和MapReduce技术的海量数据简化及处理系统，其特征在于：包括一个或数个数据采集及预处理模块、处理节点调度模块、数据处理模块、数据结果汇总模块；其中，处理节点调度模块通过有线或无线的方式分别与数据采集及预处理模块、数据处理模块连接，同时，数据处理模块通过有线或无线的方式还与数据结果汇总模块连接；其中，数据采集及预处理模块采集当前工业网络数据，并对采集的数据进行关键特征抽取的预处理工作，形成预处理数据；其中，预处理数据被汇总到处理节点调度模块，处理节点调度模块将预处理数据分配给一个或数个数据处理模块；其中，数据处理模块通过多因子分析技术对处理节点调度模块分配的预处理数据进行冗余数据归并，获取当前对工业网络有实际影响的数据，形成工业网络的有效数据，同时数据处理模块对有效数据进行工业协议解析，获取符合工业网络特征的数据；其中，符合工业网络特征的数据被传输到数据结果汇总模块，数据结果汇总模块对数据进行整理，获得对工业网络数据的整体特征。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京安点科技有限责任公司，未经北京安点科技有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710352944.9/，转载请声明来源钻瓜专利网。
