[发明专利]一种基于LevelDB进行批量数据下载的处理方法

说明书

本发明实施例涉及一种基于LevelDB进行批量数据下载的处理方法，所述方法包括：获取第一批量数据下载申请指令；从预设的完整LevelDB数据文件中，查询与各个第一下载关键字数据匹配的数据内容生成对应的第一数据内容数据，并由第一下载关键字数据和对应的第一数据内容数据组成第一关键字‑内容数据对；根据得到的多个第一关键字‑内容数据对进行数据文件重构处理，生成当前LevelDB数据文件；将当前LevelDB数据文件作为本次批量数据下载的下载数据进行对应的数据下载处理。通过本发明，既可以避免在批量下载时因连续多次的搜索请求导致的卡顿问题，又可以避免下载完整LevelDB数据文件导致的冗余数据过大的问题。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于LevelDB进行批量数据下载的处理方法。

背景技术

LevelDB数据文件是当前云存储常用的一种海量数据文件格式，也是自动驾驶领域用于存储路测数据常用的一种存储格式。LevelDB数据文件的逻辑结构是将数据和索引拆分成两部分进行存储，其中，用于存储数据的称之为数据区，用于存储索引的称之为索引区。为节省存储空间，在云端通常会将LevelDB数据文件中的数据以压缩数据的方式进行存储。云存储服务器通过向远程设备提供以个别关键字为搜索对象的数据搜索接口或完整LevelDB数据文件下载接口来满足远程设备的数据查询及数据获取需求。

随着存储数据的持续增长，我们发现云存储服务器这两种操作方式都有一些不足。当远程设备希望从存储的海量数据中获取不止一个关键字对应的存储数据时，就需要频繁使用数据搜索接口向云存储服务器发起连续多次的搜索请求，这种操作在网络条件有限的环境下会产生明显的卡顿状况。这时原理上可通过使用完整LevelDB数据文件下载接口发起一次性文件下载来规避上述因多次交互导致的卡顿情况，但实际应用中云端存储的LevelDB数据文件体量非常大，远远超出当期所需下载的数据体量，这种操作一方面也极容易在网络条件有限的环境下因传输中断从而导致下载失败，另一方面即使成功下载了也会产生大量的冗余数据导致本地出现资源紧张的状况。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种基于LevelDB进行批量数据下载的处理方法、电子设备及计算机可读存储介质，新增一种批量数据下载处理机制，该机制在接收到包含了多个关键字的批量数据下载申请指令之后，从现有的存有海量数据的完整LevelDB数据文件中获得与各个关键字匹配的数据内容，再根据LevelDB数据文件格式进行包括数据区和索引重建的数据文件重构操作，再将重构得到的体量远小于完整LevelDB数据文件体量的数据文件作为一次性下载数据返回。通过本发明，既可以避免在批量下载时因连续多次的搜索请求导致的卡顿问题，又可以避免下载完整LevelDB数据文件导致的冗余数据过大的问题。

为实现上述目的，本发明实施例第一方面提供了一种基于LevelDB进行批量数据下载的处理方法，所述方法包括：

获取第一批量数据下载申请指令；所述第一批量数据下载申请指令包括多个第一下载关键字数据；

从预设的完整LevelDB数据文件中，查询与各个所述第一下载关键字数据匹配的数据内容生成对应的第一数据内容数据，并由所述第一下载关键字数据和对应的所述第一数据内容数据组成第一关键字-内容数据对；

根据得到的多个所述第一关键字-内容数据对进行数据文件重构处理，生成当前LevelDB数据文件；

将所述当前LevelDB数据文件作为本次批量数据下载的下载数据进行对应的数据下载处理。

优选的，所述完整LevelDB数据文件包括多个长度相同的第一数据存储模块；所述第一数据存储模块包括第一存储数据、第一数据压缩算法类型和第一数据校验码。