[发明专利]数据获取方法、装置、系统及电子设备

说明书

本发明提供了一种数据获取方法、装置、系统及电子设备，涉及大数据技术领域，该方法包括：通过统一查询引擎接收查询请求；其中，查询请求中携带有指定查询引擎的信息；统一查询引擎与多个查询引擎分别连接；根据查询请求，查询统一元数据，得到与指定查询引擎对应的元数据；其中，统一元数据为通过预设的映射规则将多个查询引擎的元数据映射得到的一个元数据；根据与指定查询引擎对应的元数据从指定查询引擎中获取数据。本发明可以将各种引擎的元数据进行规范统一，统一数据管理和统一查询引擎，避免数据冗余、数据孤岛或遗失，并降低使用成本。

技术领域

本发明涉及大数据技术领域，尤其是涉及一种数据获取方法、装置、系统及电子设备。

背景技术

目前互联网公司已在大量使用开源系统，在大数据领域，对数据处理的优秀开源软件层出不穷，数据湖的概念由此产生。然而每种引擎使用的场景各有不同，多种引擎并存、数据分布到不同存储和引擎的现状将持续，将导致后续数据的冗余、管理混乱等问题。另外，各种查询引擎出现对使用者提出了更高的要求，一方面要了解各种引擎的使用方式，另一方面要记录不同引擎存储的内容，人力成本会增加不少。

当前大数据的管理使用数据，各引擎单独使用，每个引擎有独立的查询权限、独立的查询语句、独立的可视化分析界面。其中，由于每种引擎的查询方式是不一样的，需要单独开发，有的引擎支持SQL(Structured Query Language，结构化查询语言)，有的引擎不支持SQL但支持reset-API(Application Programming Interface，应用程序编程接口)；有的引擎虽然支持SQL，但支持的SQL不是标准SQL，有独有的语法语义，自定义的UDF(User-Defined Function，用户定义函数)等，所以对不同的引擎需要单独对接。

针对现有技术中多引擎单独使用的问题，目前尚未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种数据获取方法、装置、系统及电子设备，可以统一数据管理和统一查询引擎，避免数据冗余、数据孤岛、遗失并降低使用成本。

第一方面，本发明实施例提供了一种数据获取方法，包括：通过统一查询引擎接收查询请求；其中，查询请求中携带有指定查询引擎的信息；其中，统一查询引擎与多个查询引擎分别连接；根据查询请求，查询统一元数据，得到与指定查询引擎对应的元数据；其中，统一元数据为通过预设的映射规则将多个查询引擎的元数据映射得到的一个元数据；根据与指定查询引擎对应的元数据从指定查询引擎中获取数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在通过统一查询引擎接收查询请求之前，还包括：通过映射规则将多个查询引擎的元数据映射到统一元数据系统的多层存储空间，其中，多层存储空间中存储的元数据组成统一元数据。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，多层存储空间包括：第一层空间，第二层空间，第三层空间，其中，第一层空间为命名空间，第二层空间为数据库，第三层空间为表。

结合第一方面及其各可能的实施方式之一，本发明实施例提供了第一方面的第三种可能的实施方式，其中，在查询请求中携带有至少两个查询引擎的信息的情况下，根据查询请求，查询统一元数据，得到与指定查询引擎对应的元数据包括：根据至少两个查询引擎的信息，查询统一元数据，分别得到至少两个查询引擎中每个查询引擎对应的元数据。

结合第一方面及其各可能的实施方式之一，本发明实施例提供了第一方面的第四种可能的实施方式，其中，统一元数据中包括多个查询引擎的访问权限。