[发明专利]一种温数据大规模分析架构

摘要

本发明属于温数据处理技术领域，尤其时涉及一种温数据大规模分析架构，包括数据采集模块，对数据的录入存储实现采集；数据分析模块，使用Spark来提供高效的大规模分析计算；数据索引分组模块，数据以一定的方式进行索引分组，例如按日期，再类型等，依据查询条件的频繁程度，依次序和层级进行，以提升查询效率；数据存储模块，采用开源的Apache Hadoop分布式文件系统来存储数据；数据定期清除模块，对数据采进行定期清除处理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储。本发明能够在保证计算速度的同时，也控制了硬件的成本。