[发明专利]一种基于采集数据统计以及前台展现的方法

摘要

本发明提供一种基于采集数据统计以及前台展现的方法，该技术适用于后台数据的页面展现。目前，在大数据、云计算的广泛应用下，服务器采集的数据都需要对各种类型、区域、行业、时间等众多条件进行种种分类，加大了对数据库的查询量，如有更加模糊的查询条件会对数据库造成无法估计的影响，这就需要大量的人工和硬件配置来支撑该操作。通过该数据统计的方法，可减轻数据库的统计压力以及人工的工作量，又可避免因操作问题造成对工作以及硬件的影响。

主权项

一种基于采集数据统计以及前台展现的方法, 其特征在于数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗，程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表，具体步骤如下：1）配置数据库：通过配置jdbc连接数据库，创建索引专用的表空间，根据系统用户数量、用户并发量，调整表空间大小、数据库processes和sessions值，同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间；2）创建字段索引：根据查询、统计条件创建字段索引，并将索引创建在专用表空间中；3）数据采集：通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中；4）数据清洗：使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据的整理，并将整理后的数据进行分类储存；5）页面展示：前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。