[发明专利]一种数据管理方法、装置、服务器及存储介质

说明书

本发明提供一种数据管理方法、装置、服务器及存储介质，通过接收数据查询请求，数据查询请求携带数据查询条件；从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至分布式存储系统中的；从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。基于本发明，能够基于分布式存储系统实现海量数据存储，且通过查询分布式存储系统中的SQLite数据文件可以实现SQL的规范标准查询以及提高数据查询的快速响应，不需对数据库自身进行改进，降低了使用门槛。

技术领域

本发明涉及大数据管理技术领域，更具体地说，涉及一种数据管理方法、装置、服务器及存储介质。

背景技术

目前大数据中心接入的数据量越来越多、应用越来越广泛。在一些数据应用场景中，既要求能够实现对海量数据的存储，又要求能够实现对数据查询的快速响应。Hadoop虽然能实现对海量数据的存储，但是对数据查询响应较慢，尤其是小数据量查询响应较慢。关系型数据库虽然能够基于SQL实现对数据查询的快速响应，但是其数据存储能力有限。Nosql虽然能实现海量数据的存储，但是却需要进行一定的改进才能实现SQL查询以提高数据查询响应速度，使用门槛较高。

发明内容

有鉴于此，本申请提供一种数据管理方法、装置、服务器及存储介质，以在降低使用门槛的基础上，实现对海量数据的存储和数据查询的快速响应。

技术方案如下：

本发明第一方面公开一种数据管理方法，包括：

接收数据查询请求，所述数据查询请求携带数据查询条件；

从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；

从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果。

可选的，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：

获取所述数据查询条件中的表名和账期；

对所述表名和账期进行哈希计算生成第二信息；

从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据划分成账期不同的各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

可选的，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：

获取所述数据查询条件中的表名；

对所述表名进行哈希计算生成第二信息；

从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；