[发明专利]一种实时数仓框架的搭建方法以及实时数仓框架

权利要求书

1.一种实时数仓框架的搭建方法，其特征在于，包括：

将结构化查询语言语句通过页面配置进行保存，以通过第一引擎读取所述页面配置执行对应的所述SQL语句；

通过预设连接器，建立所述第一引擎与第二引擎之间的连接；

配置解析模块，其中，所述解析模块用于实时将第一数据库中的业务消息解析为自定义格式，并将解析后的业务消息写入流处理平台中；

对所述第一引擎添加格式化程序，以使所述第一引擎支持所述自定义格式；

配置统一数仓查询框架，以通过所述统一数仓查询框架对所述业务消息进行实时统计。

2.根据权利要求1所述的方法，其特征在于，所述配置解析模块，包括：

配置消息中间件，将所述消息中间件的数据格式改写为所述自定义格式，以通过所述消息中间件将所述第一数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。

3.一种实时数仓框架，其特征在于，通过如权利要求1或2的实时数仓框架的搭建方法而搭建。

4.一种基于实时数仓框架的业务消息处理方法，其特征在于，应用于如权利要求3所述的实时数仓框架中，包括：

获取第一数据库中的业务消息，并将所述业务消息解析为自定义格式；

将解析后所述自定义格式的业务消息发送至流处理平台中；

第一引擎通过执行结构化查询语言语句查询所述流处理平台中的业务消息，对所述业务消息进行流式处理后写入所述流处理平台中；

通过第二引擎将所述流处理平台中的业务消息采集到统一数仓查询框架中进行实时统计。

5.根据权利要求4所述的方法，其特征在于，所述获取第一数据库中的业务消息，包括：

通过消息中间件将数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

基于第二数据库，所述第二引擎通过结构化查询语言语句执行更新操作。

7.一种基于实时数仓框架的业务消息处理装置，其特征在于，应用于如权利要求3所述的实时数仓框架中，包括：

消息获取模块，用于获取第一数据库中的业务消息，并将所述业务消息解析为自定义格式；

发送模块，用于将解析后所述自定义格式的业务消息发送至流处理平台中；

写入模块，用于第一引擎通过执行结构化查询语言语句查询所述流处理平台中的业务消息，对所述业务消息进行流式处理后写入所述流处理平台中；

处理模块，用于通过第二引擎将所述流处理平台中的业务消息采集到统一数仓查询框架中进行实时统计。

8.根据权利要求7所述的装置，其特征在于，所述消息获取模块，还用于：

通过消息中间件将数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4至6中任一项所述的基于实时数仓框架的业务消息处理方法。

10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4至6中任一项所述的基于实时数仓框架的业务消息处理方法。