[发明专利]一种提高系统数据查询能力的方法及系统

说明书

本发明公开了一种提高系统数据查询能力的方法及系统，方法包括：从数据源获取源数据，并对所述源数据进行处理；将处理后的源数据存储至中间存储介质，对存储至中间存储介质的处理后的源数据进行内存数据维护；基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。本发明通过改进查询流程，重新组织服务架构，能够达到缩短数据单次查询耗时，并提高单机服务性能的目的。

技术领域

本发明涉及互联网数据处理技术领域，尤其涉及一种提高系统数据查询能力的方法及系统。

背景技术

目前，互联网服务端的数据查询技术，为了提高查询性能，通常从直接查数据库，到中间加本地缓存，再到中间加缓存集群。目前通常流程为：服务接口-本地缓存-缓存集群-数据库集群。一般本地缓存为查询过数据的留存其不提供数据搜索的功能，连接缓存集群中间需要创建连接及通讯，增加了查询时间，如果缓存集群中数据过期，会穿透至数据库集群，增加了数据库连接及通讯检索时间，使单次查询耗时出现增大甚至超时，降低了单机服务的查询能力。

因此，如何有效的提高系统数据的查询能力，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种提高系统数据查询能力的方法，通过改进查询流程，重新组织服务架构，能够达到缩短数据单次查询耗时，并提高单机服务性能的目的。

本发明提供了一种提高系统数据查询能力的方法，包括：

从数据源获取源数据，并对所述源数据进行处理；

将处理后的源数据存储至中间存储介质；

对存储至中间存储介质的处理后的源数据进行内存数据维护；

基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。

优选地，所述从数据源获取源数据，并对所述源数据进行处理，包括：

从数据源获取源数据；

对所述源数据进行压缩，并生成对应的版本号。

优选地，所述对存储至中间存储介质的处理后的源数据进行内存数据维护，包括：

从所述中间存储介质中获取当前压缩数据的版本号信息；

基于获取的当前压缩数据的版本号信息判断是否设置固定版本号，若是，则：

判断所述固定版本号是否与当前内存中数据的版本号相同，若否，则：

基于所述固定版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

优选地，所述对存储至中间存储介质的处理后的源数据进行内存数据维护，还包括：

当基于获取的当前压缩数据的版本号信息判断未设置固定版本号时，获取最新版本号；

判断获取的所述最新版本号是否与当前内存数据的版本号相同，若否，则：

基于所述最新版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

优选地，所述基于接收到的数据查询请求，从所述内存中查询并输出对应的数据，包括：

基于接收到的数据查询请求，根据所述内存中维护的数据索引，在所述内存中查询并输出对应的数据。

一种提高系统数据查询能力的系统，包括：

数据获取模块，用于从数据源获取源数据，并对所述源数据进行处理；

存储模块，用于将处理后的源数据存储至中间存储介质；

数据维护模块，用于对存储至中间存储介质的处理后的源数据进行内存数据维护；