[发明专利]数据处理方法、装置及电子设备

说明书

本申请实施例提供了一种数据处理方法、装置及电子设备，所述方法包括实时获取目标业务对应的待处理数据，其中，待处理数据中包含数据生成时间，根据数据生成时间将待处理数据划分至不同的时间窗口下，并根据划分结果得到不同时间窗口对应的窗口数据，其中，每个时间窗口的窗口数据中包含一边界时间，每个边界时间包含一开始时间和一结束时间，开始时间为分配至时间窗口下的待处理数据中包含的最早生成时间，结束时间为分配至时间窗口下的待处理数据中包含的最晚生成时间，根据不同时间窗口对应的窗口数据实现目标业务。本申请提高了数据处理的实时性，提高了海量数据可应用业务场景的范围，进而保证了用户的应用体验。

技术领域

本申请实施例涉及大数据技术领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，大数据技术也不例外，但由于金融行业的安全性、实时性要求，也对大数据技术提出了更高的要求。为了满足各金融业务增长的需求，大数据处理框架的应用变的越来越普遍。

现有技术中，可以通过大数据处理框架来对海量数据进行批量处理，进而实现相关的业务。在对海量数据进行批量处理时，可以先收集不同业务对应的待处理数据，等到待处理数据达到收集天数或个数之后，再批量处理收集到的待处理数据。

然而，该种处理方式时延较长，降低了数据处理的实时性，仅可以应用于实时性要求不高的业务，无法应用于实时性要求较高的业务，降低了海量数据处理可应用业务场景的范围，进而影响了用户的应用体验。

发明内容

本申请实施例提供一种数据处理方法、装置及电子设备，以提高数据处理的实时性。

第一方面，本申请实施例提供一种数据处理方法，包括：

实时获取目标业务对应的待处理数据，其中，所述待处理数据中包含数据生成时间；

根据所述数据生成时间将所述待处理数据划分至不同的时间窗口下，并根据划分结果得到不同时间窗口对应的窗口数据，其中，每个时间窗口的窗口数据中包含一边界时间，每个边界时间包含一开始时间和一结束时间，所述开始时间为分配至所述时间窗口下的待处理数据中包含的最早生成时间，所述结束时间为分配至所述时间窗口下的待处理数据中包含的最晚生成时间；

根据所述不同时间窗口对应的窗口数据实现所述目标业务。

可选的，所述根据所述数据生成时间将所述待处理数据划分至不同的时间窗口下，并根据划分结果得到不同时间窗口对应的窗口数据，包括：

在获取到数据划分权限锁时，获取历史窗口数据，其中，所述历史窗口数据中包含第一结束时间，所述历史窗口数据为至少一窗口状态为已执行状态的时间窗口对应的数据，所述第一结束时间为所述历史窗口数据中包含的边界时间中最晚的结束时间；

根据所述第一结束时间以及目标时间对所述待处理数据进行提取处理，得到初始目标待处理数据，其中，所述目标时间为根据当前时间与第一预设延迟时长确定的；

按数据生成时间顺序从所述初始目标待处理数据中提取与目标个数相对应的目标待处理数据，其中，所述目标个数为预设个数阈值与预设时间窗口阈值的乘积；

构建与所述时间窗口阈值的个数对应的时间窗口，并基于所述目标待处理数据的数据生成时间以及所述个数阈值，将所述目标待处理数据划分至与所述时间窗口阈值的个数对应的时间窗口下，并根据划分结果得到不同时间窗口对应的窗口数据。

可选的，所述基于所述目标待处理数据的数据生成时间以及所述预设个数阈值，将所述目标待处理数据划分至与所述窗口阈值的个数对应的时间窗口下，包括：