[发明专利]数据管理方法、装置、设备及计算机存储介质

说明书

本公开实施例提供数据管理方法、装置、设备及计算机存储介质。数据管理方法包括：解析结构化查询语言的语句以获取元数据；利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；利用选择‑插入方式对所述中间表进行数据生产，其中，所述选择‑插入方式为将选择到的数据在内存中插入到所述中间表中，可以使用配置自动化的选择‑插入进行中间表数据生产的方式可以简化用户查询数据时繁琐的操作步骤、提高效率，并且降低由于人工干预而导致的出错概率，保证字段列数一致、字段类型对应。

技术领域

本公开实施例涉及计算机应用技术领域，尤其涉及数据管理方法、装置、设备及计算机存储介质。

背景技术

目前大数据行业正在蓬勃的发展，大数据中的需求也变得多样化，所以多样的需求催生了各种应对的方案。其中在大数据中面对海量数据的查询方法依然是比较陈旧，在基于原表对数据的聚合查询、关联查询、子查询等，然后得到最终想要的结果。这样的查询效率比较低，每次查询都需要多个原表关联和需要庞大的结构化查询语言(StructuredQuery Language，sql)语句，在海量的数据中寻寻觅觅想要的结果数据。而且现有的中间表方式是先手动创建中间表结构，然后通过本地上传数据等方式上传数据到中间表。这样的查询效率是比较低的，步骤比较繁琐，需要用户自己手动定义表的结构，字段的类型等。而且，用户自己手动创建表结构，添加定义字段的类型增大了出错的概率，很可能导致字段列数没有一致、字段类型没有对应等错误。

发明内容

为了解决上述技术问题，本公开第一方面提供了一种数据管理方法，包括：

解析结构化查询语言的语句以获取元数据；

利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；

利用选择-插入方式对所述中间表进行数据生产，其中，所述选择-插入方式为将选择到的数据在内存中插入到所述中间表中。

结合第一方面，本公开在第一方面的第一种实现方式中，所述元数据包括所述解析结构化查询语言的语句所查询的选择项的名称、所查询的选择项的类型和所查询的表的名称。

结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表，包括：

利用所述元数据中的选择项的名称和选择项的类型拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表。

结合第一方面，本公开在第一方面的第三种实现方式中，在所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表之前，所述方法还包括：

从所述元数据中的项目中选取一个项目作为分区字段，其中，所述分区字段描述了所要创建的中间表的分区。

结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表，包括：

利用所述元数据中的选择项的名称、选择项的类型和所述分区字段拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表，其中，所述中间表具有根据所述分区字段描述的分区。

结合第一方面，本公开在第一方面的第五种实现方式中，在所述利用选择-插入方式对所述中间表进行数据生产之前，所述方法还包括：

对所述中间表的更新设置例行配置，其中，所述例行配置包含所述中间表更新的执行周期。

结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，在所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表之前，所述方法还包括：