[发明专利]多类型数据源的处理方法及装置

说明书

本申请实施例提供一种多类型数据源的处理方法及装置，涉及数据库技术领域，具体包括：接收到包括第一表名的第一请求后，可以根据第一表名查询预设的元数据表，得到第一表名的元数据，该元数据中包括第一表名对应的第一表名模板、表名替换规则和数据源配置，第一表名模板为根据多个数据源的第二表名整合得到的；表名替换规则用于描述第一表名模板与多个数据源的第二表名的替换规则；数据源配置用于描述多个数据源的配置信息；根据表名替换规则对第一表名进行替换，得到第一表名对应的多个数据源的第二表名；根据数据源配置和第一表名对应的多个第二表名进行读操作或写操作，整个过程用户不需要对数据源的类型有具体了解，操作非常方便。

技术领域

本申请涉及一种数据库技术，尤其涉及一种多类型数据源的处理方法及装置。

背景技术

标签引擎系统能够提供一种ETL(Extract-Transform-Load，简称ETL)方式对不同任务进行处理，ETL用于描述将来自数据源的数据经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL通常用在数据仓库中，但并不限于数据仓库中。

在不同应用场景中，对不同的数据源有不同的要求，例如，在一种场景中，标签系统需要用分布式文件系统(Hadoop Distributed File System，简称HDFS)进行集群式计算操作，使用ElasticSearch(简称ES)进行查询操作，对某些小量数据则使用Mysql进行查询，以发挥Mysql快捷查询的优势。可以理解，ES、Mysql和HDFS处理的数量来自不同的数据源。

现有的标签引擎系统只能支持对单一数据源的数据进行处理，导致系统的灵活性和兼容器差。

发明内容

本申请实施例提供一种多类型数据源的处理方法及装置，以解决现有技术中系统的灵活性和兼容器差的技术问题。

本申请实施例第一方面提供一种多类型数据源的处理方法，包括：

接收第一请求，所述第一请求中包括第一表名；

根据所述第一表名查询预设的元数据表，得到所述第一表名的元数据，所述元数据中包括所述第一表名对应的第一表名模板、表名替换规则和数据源配置，所述第一表名模板为根据多个数据源的第二表名整合得到的；所述表名替换规则用于描述所述第一表名模板与所述多个数据源的第二表名的替换规则；所述数据源配置用于描述所述多个数据源的配置信息；

根据所述表名替换规则对所述第一表名进行替换，得到所述第一表名对应的多个数据源的第二表名；

根据所述数据源配置和所述第一表名对应的多个第二表名进行读操作或写操作。

本申请实施例中，可以预先为多类型的数据源设计包括表名模板、表名替换规则和数据源配置的元数据表，通过元数据表可以向用户提供统一的接口，使得系统可以支持用户对多类型数据源的请求操作，且用户只需要输入元数据表中配置的相关表名，就能找到对应的数据源，整个过程用户不需要对数据源的类型有具体了解，操作非常方便。

可选的，所述数据源的配置信息包括端口信息；根据所述数据源配置和所述第一表名对应的多个第二表名进行读操作，包括：

对于每个所述第二表名，根据所述第二表名对应的端口信息，读取所述第二表名对应的数据。

可选的，所述数据源的配置信息还包括：账号信息和密码信息；

所述根据所述第二表名对应的端口信息，读取所述第二表名对应的数据，包括：

根据所述第二表名对应的端口信息、账号信息和密码信息，读取所述第二表名对应的数据。

本申请实施例中可以通过账号信息和密码信息进一步提升数据读取的安全性。