[发明专利]一种基于采集数据统计以及前台展现的方法

权利要求书

1.一种基于采集数据统计以及前台展现的方法, 其特征在于数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗，程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表，具体步骤如下：

1）配置数据库：通过配置jdbc连接数据库，创建索引专用的表空间，根据系统用户数量、用户并发量，调整表空间大小、数据库processes和sessions值，同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间；

2）创建字段索引：根据查询、统计条件创建字段索引，并将索引创建在专用表空间中；

3）数据采集：通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中；

4）数据清洗：使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据的整理，并将整理后的数据进行分类储存；

5）页面展示：前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。