[发明专利]一种数据处理方法和设备

说明书

本发明公开了一种数据处理方法。当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口；若所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理；若所述数据时间在前一系统时间窗口的范围之内，将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。从而在保证数据统计完整的前提下及时进行处理，提高了数据处理结果的准确性和实时性。

技术领域

本发明涉及通信技术领域，特别涉及一种数据处理方法，本申请同时还涉及一种数据处理设备。

背景技术

作为一种新的数据处理方式，流式计算能够对动态产生的数据进行实时计算并及时反馈结果。目前，流式计算已广泛应用于金融银行业应用、互联网应用和物联网应用等领域中，主要用于对一定时间间隔内的数据进行统计，即对于预定时间窗口内的数据进行统计。

在现有技术中，流式计算所存在时间窗口分为“系统时间窗口”以及“数据时间窗口”这两种，其各自的特点以及缺点如下：

(1)系统时间窗口

系统时间窗口基于系统时间对数据产生端的数据进行统计，首先根据预设的时间间隔将数据的统计时间划分为多个系统时间窗口，然后输出系统时间窗口统计结果。若仅按照系统时间窗口对数据进行处理的话，数据从产生端到统计端是有一定延迟性，在系统时间窗口内处理的数据往往不等于实际过程中产生端在预设时间间隔内所产生的数据，这使得流式计算的结果会受到影响。

(2)数据时间窗口

数据时间窗口基于数据时间对数据产生端的数据进行统计。在实际统计过程中，受到数据产生端的设备的时钟不完全同步以及数据采集传输过程的快慢程度的影响，统计端接收到数据的数据时间未必是按照数据时间的先后顺序严格递增的。因此基于数据时间窗口的统计结果中就会出现数据乱序的问题。在实际统计过程中很容易出现当前数据时间窗口的边缘会有部分数据跨越到另一数据时间窗口中的情况，使得流式计算的结果受到影响。

一旦出现在数据乱序的情况下，只有通过保证当前数据时间窗口的所有数据都到达统计端，才能够保证流式计算的准确程度。因此现有的实际统计过程只有在统计端接收到数据的数据时间超过数据时间窗口并达到预设值时或者统计端接收到下一数据时间窗口的数据达到预设数量时，才关闭当前数据时间窗口。

在实现本申请的过程中，发明人发现现有技术至少存在如下问题：

(1)流式计算的数据通常是不稳定的，当某个统计项数据量较少时，下个数据时间窗口数据一直没有到达统计端，当前数据时间窗口的统计结果没有及时输出，导致数据统计延误，使得流式计算的结果受到影响。

(2)流式计算的同级计算单元一般都是并发多个的，当需要同级计算单元的统计结果按顺序输出时，由于不同计算单元的处理进度的不同，则会出现不同计算单元的数据的数据时间不同步的情况，使得流式计算的结果受到影响。

由此可见，现有技术在针对流式计算中进行实时统计数据时，无法在保证数据统计完整的前提下及时输出统计数据，同时不能对统计数据的进行全局同步，从而影响了数据处理结果的准确性。

发明内容

本发明提供了一种数据处理方法，通过预先为数据统计系统的每一段系统时间窗口设置关闭时间点以及同步时间点的方式，解决了保证统计数据完整和实时进行统计数据处理二者无法兼顾的问题。

该方法应用于数据统计系统中，其中所述数据统计系统的每一段系统时间窗口均预先设置有关闭时间点以及同步时间点，所述关闭时间点在所述同步时间点之前，并位于所述系统时间窗口的起始时间点之后，所述方法包括：