[发明专利]大数据滑动窗口统计方法、装置、存储介质及计算设备

说明书

本申请公开一种大数据滑动窗口统计方法、装置、存储介质及计算设备，涉及数据处理领域。所述方法包括：根据待统计的数据生成滑动窗口，计算所述滑动窗口范围内所有数据的第一统计值；当所述待统计的数据发生变化时，根据变化后的数据调整滑动窗口，使其具有不同于原起始位置的第一起始位置和/或不同于原结束位置的第一结束位置；计算所述原起始位置与所述第一起始位置之间的数据的起始修正统计值，和/或所述原结束位置与所述第一结束位置之间的数据的结束修正统计值；根据所述起始修正统计值和/或所述结束修正统计值对所述第一统计值进行修正，得到调整后的滑动窗口范围内所有数据的第二统计值。解决了现有技术数据统计中计算量大的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种大数据滑动窗口统计方法、装置、存储介质及计算设备。

背景技术

现有的数据统计方法，都是将数据从头到尾，或者是对统计窗口内所有数据，依次计算和、均值、均方差、标准差等统计数值。当有新的数据加入，或者统计窗口的位置、宽度有所变化时，都需要再次重新计算所有数据的统计数值。当数据元素个数较多时，其计算量非常大，会消耗宝贵的CPU性能，而且在大数据处理时，需要频繁调整统计窗口的位置和宽度，此时CPU根本就忙不过来了，无法满足实时统计的要求。

针对上述现有技术数据统计中计算量大的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种大数据滑动窗口统计方法、装置、存储介质及计算设备，以至少解决现有技术数据统计中计算量大的技术问题。

根据本申请实施例的一个方面，提供了一种大数据滑动窗口统计方法，该方法包括：根据待统计数据生成滑动窗口，计算所述滑动窗口范围内所有数据的第一统计值，其中所述滑动窗口的原起始位置和原结束位置分别为所述待统计数据的第一项和最后一项；当所述待统计数据发生变化时，根据变化后的数据调整滑动窗口，使其具有不同于原起始位置的第一起始位置和/或不同于原结束位置的第一结束位置；计算所述原起始位置与所述第一起始位置之间的数据的起始修正统计值，和/或所述原结束位置与所述第一结束位置之间的数据的结束修正统计值；根据所述起始修正统计值和/或所述结束修正统计值对所述第一统计值进行修正，得到调整后的滑动窗口范围内所有数据的第二统计值。

根据本申请实施例的另一个方面，提供了一种大数据滑动窗口统计装置，该装置包括：数据存储模块，用于存储待统计数据；滑动窗口管理模块，具有起始位置指针和结束位置指针，用于根据所述起始位置指针和结束位置指针限定滑动窗口的位置和宽度；统计模块，用于根据传入的统计项指示信号，根据滑动窗口限定的数据范围，计算滑动窗口范围内所有数据的与统计项指示信号对应的统计值；处理模块，被配置为读取数据存储模块中存储的待统计数据，调用滑动窗口管理模块生成与待统计数据对应的滑动窗口，调用统计模块计算所述滑动窗口范围内所有数据的第一统计值，其中所述滑动窗口的原起始位置和原结束位置分别为所述待统计数据的第一项和最后一项；当所述数据存储模块中存储的待统计数据发生变化时，调用滑动窗口管理模块根据变化后的数据调整滑动窗口，使其具有不同于原起始位置的第一起始位置和/或不同于原结束位置的第一结束位置；调用统计模块计算所述原起始位置与所述第一起始位置之间的数据的起始修正统计值，和/或所述原结束位置与所述第一结束位置之间的数据的结束修正统计值；根据所述起始修正统计值和/或所述结束修正统计值对所述第一统计值进行修正，得到调整后的滑动窗口范围内所有数据的第二统计值。根据本申请实施例的另一个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任一实施例的方法。

根据本申请实施例的另一个方面，提供了一种计算设备，包括处理器，处理器用于运行程序，其中，程序运行时执行上述任一实施例的方法。