[发明专利]一种基于缓存的标准化数据打包方法

摘要

本发明公开了一种基于缓存的标准化数据打包方法，包括建立模板函数、对数据库中的文件进行抓取和对抓取的数据进行数据打包，其中，在对文件进行抓取过程中，将抓取的数据按顺序写入缓存，当缓存接收到抓取数据后，再把抓取的数据写入内存的文件包中，同时监测缓存接收数据的速度与从缓存向文件包写入文件的速度的关系：当前者大于后者时，且缓存容量达到最大容量时，停止向缓存写入抓取的数据；当缓存中的数据量减小到设定的下限值时，开始向缓存写入抓取的数据；通过建立一个模板函数并调用，而执行不同的数据抓取任务并生成对应的任务文件，同时，在数据打包过程中，通过缓存将任务文件写到内容文件包中，从而把内存使用的需求降到最低。

主权项

一种基于缓存的标准化数据打包方法，其特征在于，包括如下步骤：步骤1、建立模板函数，具体为：根据所有可能的数据抓取任务，生成对数据依次进行数据预处理、数据库表和字段定义以及数据后处理的模板函数；其中，所述数据预处理包括使用sql语句、存储过程和普通运算规则三种处理方式对待抓取的数据进行处理；所述数据库表和字段定义为待抓取数据所在数据库名称、表名称、字段名称以及相应的约束条件；所述数据后处理包括使用sql语句、存储过程和普通运算规则三种处理方式对数据库表进行标志位设置和临时数据删除的处理；步骤2、对数据库中的文件进行抓取，具体为：针对接收到的数据抓取任务，调用模板函数根据数据库表和字段定义所指明的待抓取数据，再根据数据抓取任务中要求的对数据进行数据预处理的项目，选择数据预处理中的三种处理方式中的一种或多种处理方式对待抓取数据进行处理；然后再从数据库中抓取所述待抓取数据，最后，根据数据抓取任务中要求的对数据进行数据后处理的方式，选择数据后处理中的三种处理方式中的一种或多种对已经抓取的数据进行处理；步骤3、对抓取的数据进行数据打包，具体为：S31、在内存中创建缓存区域；S32、将抓取的数据按顺序写入缓存，当缓存接收到抓取数据后，再把抓取的数据写入内存的文件包中，同时监测缓存接收数据的速度与从缓存向文件包写入文件的速度的关系：当前者大于后者时，且缓存容量达到最大容量时，停止向缓存写入抓取的数据；当缓存中的数据量减小到设定的下限值时，开始向缓存写入抓取的数据；步骤4、重复执行步骤2和步骤3，由此执行多个数据抓取任务，最终把抓取到的数据打包存储。