[发明专利]一种数据获取方法和装置

说明书

本发明公开了一种数据获取方法和装置，包括：接收包含关键词的性能数据查询请求，根据性能数据查询请求判断内存的数据缓存区中是否存在与关键词对应的目标性能数据；如果存在，直接从数据缓存区中获取目标性能数据后返回；如不存在，根据关键词从数据库中批量读取多条性能数据并存储到数据缓存区中，从数据缓存区中获取目标性能数据后返回，数据库中按性能数据的业务类型分类存储且性能数据创建有日期索引。本发明实施例通过一次批量查询数据库后进行缓存，效率比每次单一直接查询数据库效率大大提高了几十倍。并且，减少了性能数据查询时内存和磁盘的读取交换次数，降低了系统高负荷运行的持续时间。

技术领域

本发明涉及计算机技术领域，具体涉及一种数据获取方法和装置。

背景技术

随着互联网发展，数据规模也越来越大，针对大数据的计算、分析、存储也越来越多。Spark是专为大规模数据处理而设计的快速、通用的计算引擎。ElasticSearch(简称ES)是一个基于Lucene的搜索引擎，它可以快速地储存、搜索和分析海量数据。Spark是内存计算，速度非常快，这里快指的是从数据获取到之后的计算流程会非常快，但是不包括获取数据，假如在计算当中，获取数据出现缓慢，就必然会导致整个计算流程的缓慢，而ES的出现正好弥补这个问题。ES可从海量数据中快速获取数据，ES将部分数据放入内存中进行读取。但是如果内存中的数据不包含需要的数据，再将内存中数据置换掉，当要获取的数据量非常大时，该过程将非常耗时，尤其是在大批量不同数据频繁读取时，系统性能下降严重。

发明内容

本发明提供了一种数据获取方法和装置，能够加快数据读取速度，大大降低系统高负荷运行时的持续时间，满足大批量不同数据频繁读取需求。

根据本申请的一个方面，提供一种数据获取方法，包括：

接收包含关键词的性能数据查询请求，根据性能数据查询请求判断内存的数据缓存区中是否存在与关键词对应的目标性能数据；

如果所述数据缓存区中存在目标性能数据，则直接从所述数据缓存区中获取目标性能数据后返回；

如果所述数据缓存区中不存在目标性能数据，则根据所述关键词从数据库中批量读取类型相同的多条性能数据并存储到所述数据缓存区中，从所述数据缓存区中获取目标性能数据后返回，所述数据库中按性能数据的业务类型分类存储性能数据。

根据本申请的另一个方面，提供了一种数据获取装置，包括：

判断单元，用于接收包含关键词的性能数据查询请求，根据性能数据查询请求判断内存的数据缓存区中是否存在与关键词对应的目标性能数据；

第一获取单元，用于如果所述数据缓存区中存在目标性能数据，则直接从所述数据缓存区中获取目标性能数据后返回；

第二获取单元，用于如果所述数据缓存区中不存在目标性能数据，则根据所述关键词从数据库中批量读取类型相同的多条性能数据并存储到所述数据缓存区中，从所述数据缓存区中获取目标性能数据后返回，所述数据库中按性能数据的业务类型分类存储性能数据。

根据本申请又一个方面，提供了一种电子设备，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的数据获取方法。

根据本申请再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请一个方面所述数据获取方法的步骤。