[发明专利]一种基于BI系统的数据处理方法及系统

说明书

本发明实施例提供一种基于BI系统的数据处理方法，包括以下步骤：步骤一：服务器接收客户端数据库拆分请求，所述数据库拆分请求基于SQL语句对数据库中的数据表进行拆分请求；步骤二：基于获取的所述SQL拆分规则，对所述SQL语句进行拆分，使得所述数据表均分成N份目标数据；步骤三：将得到的所述N份目标数据存储至所述数据库的内存缓冲池；步骤四：将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。本发明实施例对于不同的数据库进行拆分，提高在不同的数据库中的查询效率，进而提高用户体验。

技术领域

本发明涉及数据库技术领域,更具体地说，涉及到一种基于BI系统的数据处理方法及系统。

背景技术

随着业务的迅猛发展，数据量快速增长，数据存储及数据使用逐渐成为系统的瓶颈。

现有BI系统只支持操作相关关系型数据库,不利于大数据场景下的数据下载，因此如何对数据库进行拆分是改善数据库的性能的一大难题。

本发明内容

为了克服现有技术的不足，本发明提供本发明提供一种基于BI系统的数据处理方法用来如何对数据库进行拆分以便能提高用户的查询效率。

本发明解决其技术问题所采用的技术方案是：一种基于BI系统的数据处理方法，包括以下步骤：步骤一：服务器接收客户端数据库拆分请求，所述数据库拆分请求基于SQL语句对数据库中的数据表进行拆分请求；步骤二：基于获取的所述SQL拆分规则，对所述SQL语句进行拆分，使得所述数据表均分成N份目标数据；步骤三：将得到的所述N份目标数据存储至所述数据库的内存缓冲池；步骤四：将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。

优选地，所述服务器接收客户端数据库拆分请求之后，所述步骤还包括：

将所述服务器接收的所述数据库拆分请求标记为待处理数据量分析；

根据所述待处理数据量分析对所述数据库中所述数据表查询记录数进行分析。

优选地，所述基于获取的所述SQL拆分规则之前，所述步骤还包括：

根据所述数据库的性能自动配置参数，所述数据库性能包括CPU、内存、数据库类型；

基于所述配置的参数获取所述SQL拆分规则。

优选地，对所述SQL语句进行拆分，所述步骤包括：

基于状态异步补偿机制对所述SQL语句进行拆分。

优选地，所述将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。所述步骤包括：

基于状态异步补偿机制将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。

一种基于BI系统的数据处理系统，所述系统包括：

接收单元，用于服务器接收客户端数据库拆分请求，所述数据库拆分请求基于SQL语句对数据库中的数据表进行拆分请求；

拆分单元，用于基于获取的所述SQL拆分规则，对所述SQL语句进行拆分，使得所述数据表均分成N份目标数据；

存储单元，用于将得到的所述N份目标数据存储至所述数据库的内存缓冲池；

发送单元，用于将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。

优选地，所述系统还包括：

标记单元，用于将所述服务器接收的所述数据库拆分请求标记为待处理数据量分析；

分析单元，用于据所述待处理数据量分析对所述数据库中所述数据表查询记录数进行分析。

优选地，所述系统还包括：