[发明专利]数据的获取方法及装置、存储介质、终端

说明书

本发明公开了一种数据的获取方法及装置、存储介质、终端，涉及数据处理技术领域，主要目的在于能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据获取效率，降低数据获取成本，节约计算资源。所述方法包括：识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与获取时间段匹配的数据。本发明适用于数据的获取。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据的获取方法及装置、存储介质、终端。

背景技术

随着互联网信息技术的发展，业务数据在日常业务的拓展以及业务维护中的作用与日俱增，而使用核心指标数据来进行业务指导并驱动业务发展，在互联网公司日常业务运营的过程中起到了至关重要的作用。

目前，现有的数据的获取方法需要系统后台将一段时间内的明细数据全部存储下来，用户查询任意时间段的数据时，通过将所有存储的明细数据进行汇总，以得到数据。然而，由于用户每次获取数据时，都需要重新对所有数据进行汇总计算，提高了数据的获取成本，降低了数据的获取效率，且极大地浪费了计算资源。

发明内容

有鉴于此，本发明提供一种数据的获取方法及装置、存储介质、终端，主要目的在于能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。

依据本发明一个方面，提供了一种数据的获取方法，包括：

识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；

若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；

若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。

可选地，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配，包括：

提取接收的数据获取请求中携带的数据获取时间段；

将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。

可选地，所述方法还包括：

根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。

进一步地，所述将处理结果进行存储，包括：

以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。

进一步地，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配之前，所述方法还包括：

根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。

进一步地，所述从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：

按照所述统计时间批次为标识从所述第一预置存储位置中获取与所述数据获取时间段匹配的数据；

所述从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：

按照所述同步时间批次为标识从所述第二预置存储位置中获取与所述数据获取时间段匹配的数据。