[发明专利]一种数据处理方法、系统、计算设备及可读存储介质

说明书

本发明公开了一种数据处理方法，适于在数据处理系统中执行，数据处理系统包括客户端、代理路由器、数据库管理器、数据库，方法包括：客户端发送数据请求到代理路由器，数据请求包括目标数据和目标数据对应的目标数据库；代理路由器获取数据请求中的目标数据库，并根据目标数据库获取目标数据库对应的数据库管理器；代理路由器将数据请求发送至目标数据库对应的数据库管理器；数据库管理器根据数据请求在相应的数据库中完成数据操作，并返回响应消息。本发明一并公开了相应的系统，计算设备及可读存储介质。

技术领域

本发明涉及数据存储领域，尤其涉及一种数据处理方法、系统、计算设备及可读存储介质。

背景技术

随着信息化和IT技术的飞速发展，企业数据呈指数式爆炸增长，传统的集中式存储和计算方式已无法满足企业日益增长的业务需求，Hadoop应运而生，其分布式的架构设计有效解决了数据的分布式存储与计算问题，通过Hadoop平台，开发人员可以编写MapReduce程序便捷地实现海量数据处理，并且Hadoop集群可以在廉价的商用计算机硬件上运行，极大地节约了企业的成本投入。

Hive作为Hadoop生态中的重要一员，其数据存储依托于Hadoop，同时它提供了一种类SQL语言来处理数据，使用户不必再去编写复杂的MapReduce程序来完成数据计算，降低了用户的使用门槛。在运行一个Hive查询时，首先会通过MetaStore服务来获取该查询所涉及的元数据信息，MetaStore服务所需的元数据信息实际存储于数据库中(可以是MySQL，也可是Derby等其他数据库)，查询到元数据后便可依据获取到的数据映射规则在Hadoop集群执行分布式数据计算，最终返回查询结果。当Hadoop集群规模非常庞大，并发执行大量的Hive作业查询时，如果仅部署单一MetaStore实例，该MetaStore的访问并发会变得非常高，元数据查询服务将会成为整个系统的性能瓶颈，对查询作业的运行效率产生非常大的影响，严重时甚至出现MetaStore崩溃导致整个服务不可用。不过原生Hive组件支持MetaStore实例的横向扩展，可以通过配置多套MetaStore实例以实现负载均衡。但是，所有Hive表的元数据信息只能存于同一套Mysql数据库，所有MetaStore实例均须从同一套Mysql数据库读取元数据，不支持Mysql服务的横向扩展，更不具备元数据信息的分布式存储能力。当元数据信息数据量变得非常庞大时，MetaStore对Mysql数据库的访问同样存在性能瓶颈。Mysql中元数据记录过多导致单个查询耗时过长、业务高峰期Mysql查询负载过高成为当前Hive架构的又一大性能杀手。

发明内容

为此，本发明提供了一种数据处理方法、系统、计算设备及可读存储介质，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种数据处理方法，适于在数据处理系统中执行，数据处理系统包括客户端、代理路由器、数据库管理器、数据库，方法包括：客户端发送数据请求到代理路由器，数据请求包括目标数据和目标数据对应的目标数据库；代理路由器获取数据请求中的目标数据库，并根据目标数据库获取目标数据库对应的数据库管理器；代理路由器将数据请求发送至目标数据库对应的数据库管理器；数据库管理器根据数据请求在相应的数据库中完成数据操作，并返回响应消息。

可选的，在根据本发明的数据处理方法中，客户端存储有代理路由器列表，代理路由器列表中存储有代理路由器及代理路由器的地址信息，客户端发送数据请求到代理路由器包括：客户端根据第一预设规则从代理路由器列表中选择一个目标代理路由器，并根据目标代理路由器的地址信息将数据请求发送至目标代理路由器。

可选的，在根据本发明的数据处理方法中，数据处理系统还包括路由信息数据库，路由信息数据库中存储有数据库与数据库管理器的映射关系，所有代理路由器与路由信息数据库通信连接，根据目标数据库获取目标数据库对应的数据库管理器包括：代理路由器根据目标数据库查询路由信息数据库，获取目标数据库对应的数据库管理器。