[发明专利]一种top-k排名的查询、落库方法及装置

说明书

本申请提供一种top‑k排名的查询、落库方法及装置，涉及数据处理领域，该top‑k排名的查询方法包括：在接收到top‑k排名的查询请求时，提取查询请求中包括的查询时间范围；根据预设的时间划分等级对查询时间范围进行划分，得到多个查询时间区间；获取与多个查询时间区间一一对应的多个查询数据表；根据多个查询数据表进行数据提取，得到数据集合；对数据集合进行top‑k排名，得到top‑k排名结果。可见，实施这种实施方式，能够在单机资源有限的情况下，快速、稳定地查询一段时间内top‑k排名结果，从而解决以往的查询效率问题和系统负担问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种top-k排名的查询、落库方法及装置。

背景技术

随着数据时代的来临，各个行业可以利用大量的数据进行数据分析获得相应的巨大收益。其中，大量的数据伴随着大量的网络安全日志，为了实现安全防护，技术人员往往需要查询某段时间内的top-k攻击主机排名结果。然而，在实践中发现，对大量的数据进行top-k排名会严重增加耗时，导致效率大幅降低；同时，频繁操作还会大幅增加磁盘I/O读写次数和cpu密集型计算次数，从而对系统造成巨大负荷，进而影响top-k排名查询的稳定性。

发明内容

本申请实施例的目的在于提供一种top-k排名的查询方法及装置，能够在单机资源有限的情况下，快速、稳定地查询一段时间内top-k排名结果，从而解决以往的查询效率问题和系统负担问题。

本申请实施例第一方面提供了一种top-k排名的查询方法，包括：

在接收到top-k排名的查询请求时，提取所述查询请求中包括的查询时间范围；

根据预设的时间划分等级对所述查询时间范围进行划分，得到多个查询时间区间；

获取与所述多个查询时间区间一一对应的多个查询数据表；

根据所述多个查询数据表进行数据提取，得到数据集合；

对所述数据集合进行top-k排名，得到top-k排名结果。

在上述实现过程中，该方法可以在接收到top-k排名的查询请求时，根据时间划分等级对查询请求中的查询时间范围进行划分，并根据划分结果获取对应时间内的数据信息，然后再对该数据进行top-k排名。可见，实施这种实施方式，能够通过对接收到的网络安全日志进行分时多级缓存，以便于该方法根据接收到的查询请求进行分时多级查询，从而提高top-k排名的查询速度；同时，由于进行了预处理，能够在很大程度上降低磁盘I/O读写次数，从而能够在很大程度上减轻系统的负担，进而能够提高系统的稳定性。另外，传统方法中top-k排名是基于全部数据的，而基于全部数据进行的top-k排名的结果往往是较为准确的；但是，本方法对数据进行处理的方式能够将全部数据进行分类缓存，使得top-k查询时可以仅基于缓存中的部分数据进行有效查询，从而能够在保证top-k排名的结果较为准确的基础上有效提高top-k排名的效率。

进一步地，所述在接收到top-k排名的查询请求时，提取所述查询请求中包括的查询时间范围的步骤之前，所述方法还包括：

通过ApiServer检测Web发起的top-k排名的查询请求。

进一步地，所述根据预设的时间划分等级对所述查询时间范围进行划分，得到多个查询时间区间的步骤按包括：

在所述查询时间范围中划分出查询月度、查询周、查询日、查询时以及查询分；所述查询月度、所述查询周、所述查询日、所述查询时以及所述查询分构成多个查询时间区间。

进一步地，所述根据所述多个查询数据表进行数据提取，得到数据集合的步骤包括：

在所述多个查询数据表中提取热数据；

通过Elasticsearch搜索所述查询时间范围内的冷数据；