[发明专利]一种基于LevelDB进行批量数据下载的处理方法

权利要求书

1.一种基于LevelDB进行批量数据下载的处理方法，其特征在于，所述方法包括：

获取第一批量数据下载申请指令；所述第一批量数据下载申请指令包括多个第一下载关键字数据；

从预设的完整LevelDB数据文件中，查询与各个所述第一下载关键字数据匹配的数据内容生成对应的第一数据内容数据，并由所述第一下载关键字数据和对应的所述第一数据内容数据组成第一关键字-内容数据对；

根据得到的多个所述第一关键字-内容数据对进行数据文件重构处理，生成当前LevelDB数据文件；

将所述当前LevelDB数据文件作为本次批量数据下载的下载数据进行对应的数据下载处理；

其中，所述完整LevelDB数据文件包括多个长度相同的第一数据存储模块；所述第一数据存储模块包括第一存储数据、第一数据压缩算法类型和第一数据校验码；

所述从预设的完整LevelDB数据文件中，查询与各个所述第一下载关键字数据匹配的数据内容生成对应的第一数据内容数据，并由所述第一下载关键字数据和对应的所述第一数据内容数据组成第一关键字-内容数据对，具体包括：

根据预设的校验码算法类型，对所述完整LevelDB数据文件进行数据文件完整性校验处理；

所述数据文件完整性校验处理成功，则对所述完整LevelDB数据文件进行数据解压缩处理，生成对应的第一解压缩数据文件；

在所述第一解压缩数据文件中，查询与各个所述第一下载关键字数据匹配的数据内容生成对应的所述第一数据内容数据；

由所述第一下载关键字数据和对应的所述第一数据内容数据组成所述第一关键字-内容数据对；

所述第一解压缩数据文件至少包括第一数据区和第一索引区；

所述第一数据区中存储了多个第一数据模块；所述第一数据模块中存储了多个第一数据记录；所述第一数据记录中至少存储了第一关键字名称和第一关键字内容；所述第一数据记录的长度不固定；在所述第一数据模块中，按对应的所述第一关键字名称的字符串排序从小到大的顺序对所述第一数据记录进行存储；

所述第一索引区存储了多个第一索引记录；所述第一索引记录中至少存储了第一模块索引标识、第一模块边界关键字名称、第一模块起始偏移地址和第一模块长度；

所述第一索引记录与所述第一数据模块一一对应；

所述第一索引记录的所述第一模块索引标识为对应的所述第一数据模块在所述第一数据区中的索引标识；所述第一索引记录的所述第一模块边界关键字名称的字符串排序不小于对应的所述第一数据模块中最后一个所述第一数据记录的所述第一关键字名称的字符串排序；所述第一索引记录的所述第一模块起始偏移地址为对应的所述第一数据模块在所述第一数据区中的起始存储地址；所述第一索引记录的所述第一模块长度为对应的所述第一数据模块在所述第一数据区中的存储数据长度；

所述第一索引区存储的任意模块索引标识相邻的两个所述第一索引记录中，前一个所述第一索引记录的所述第一模块边界关键字名称的字符串排序小于后一个所述第一索引记录对应的所述第一数据模块的第一个所述第一数据记录的所述第一关键字名称的字符串排序。

2.根据权利要求1所述的基于LevelDB进行批量数据下载的处理方法，其特征在于，所述根据预设的校验码算法类型，对所述完整LevelDB数据文件进行数据文件完整性校验处理，具体包括：

对所述完整LevelDB数据文件的各个所述第一数据存储模块进行轮询，并将当前被轮询的所述第一数据存储模块作为第一当前数据存储模块；并提取所述第一当前数据存储模块的所述第一存储数据作为第一当前存储数据；并提取所述第一当前数据存储模块的所述第一数据校验码作为第一当前数据校验码；并使用与所述校验码算法类型对应的校验码算法对所述第一当前存储数据进行校验码计算，生成比对数据校验码；并对所述比对数据校验码是否与所述第一当前数据校验码匹配进行确认，若确认匹配则设置对应的第一模块校验结果为成功；

若得到的所有所述第一模块校验结果均为成功，则所述数据文件完整性校验处理成功。