[发明专利]一种实时数仓框架的搭建方法以及实时数仓框架

说明书

本发明适用于计算机技术领域，提供了一种实时数仓框架的搭建方法以及实时数仓框架，将结构化查询语言语句通过页面配置进行保存，以通过第一引擎读取所述页面配置执行对应的所述SQL语句；通过预设连接器，建立所述第一引擎与第二引擎之间的连接；配置解析模块，其中，所述解析模块用于实时将第一数据库中的业务消息解析为自定义格式，并将解析后的业务消息写入流处理平台中；对所述第一引擎添加格式化程序，以使所述第一引擎支持所述自定义格式；配置统一数仓查询框架，以通过所述统一数仓查询框架对所述业务消息进行实时统计。有助于提升系统开发效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种实时数仓框架的搭建方法以及实时数仓框架。

背景技术

Phoenix是基于HBase的大数据框架，可以很好的跟HBase融合，同时update等操作支持非常好。Flink Sql是Flink新框架，支持基于类似SQL语句格式实现数据的流式处理，但Flink Sql目前不支持Phoenix。Canal可以将Mysql的数据同步到Kafka，但该组件受限于数据格式的要求不能完全满足复杂的业务需求，Flink Sql支持Canal数据格式，但同样受限于组件的数据格式，难以支持复杂的业务需求。

对于复杂业务，目前并没有任何一个实时数仓框架能够同时支持下面特性：1、数据update支持性非常好，能够达到毫秒级别，最好是基于HBase，或者基于目前已经在使用的Phoenix；2、基于大数据，满足海量数据实时统计；3、可执行类SQL语句，最好是基于FlinkSql；4、解决Canal数据格式受限问题，满足复杂的业务需求。

发明内容

本发明实施例提供一种实时数仓框架的搭建方法，旨在解决提供支持update操作、能够满足业务需求、可执行类SQL语句的实时数仓框架的问题。

本发明实施例是这样实现的，将结构化查询语言语句通过页面配置进行保存，以通过第一引擎读取所述页面配置执行对应的所述SQL语句；通过预设连接器，建立所述第一引擎与第二引擎之间的连接；配置解析模块，其中，所述解析模块用于实时将第一数据库中的业务消息解析为自定义格式，并将解析后的业务消息写入流处理平台中；对所述第一引擎添加格式化程序，以使所述第一引擎支持所述自定义格式；配置统一数仓查询框架，以通过所述统一数仓查询框架对所述业务消息进行实时统计。

更进一步地，所述配置解析模块，包括：配置消息中间件，将所述消息中间件的数据格式改写为所述自定义格式，以通过所述消息中间件将所述第一数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。

本发明实施例还提供一种实时数仓框架，通过上述的实时数仓框架的搭建方法而搭建。

本发明实施例还提供一种基于实时数仓框架的业务消息处理方法，应用于上述的实时数仓框架中，包括：获取第一数据库中的业务消息，并将所述业务消息解析为自定义格式；将解析后所述自定义格式的业务消息发送至流处理平台中；第一引擎通过执行结构化查询语言语句查询所述流处理平台中的业务消息，对所述业务消息进行流式处理后写入所述流处理平台中；通过第二引擎将所述流处理平台中的业务消息采集到统一数仓查询框架中进行实时统计。

更进一步地，所述获取第一数据库中的业务消息，包括：通过消息中间件将数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。

更进一步地，基于第二数据库，所述第二引擎通过结构化查询语言语句执行更新操作。

本发明实施例还提供一种基于实时数仓框架的业务消息处理装置，应用于上述的实时数仓框架中，包括：

消息获取模块，用于获取第一数据库中的业务消息，并将所述业务消息解析为自定义格式；

发送模块，用于将解析后所述自定义格式的业务消息发送至流处理平台中；