[发明专利]数据统计方法和装置

说明书

本发明提出一种数据统计方法和装置，该数据统计方法包括获取待统计数据集合；对待统计数据集合内的多条数据进行至少一次分组，得到多个目标分组，其中，每个目标分组中的数据的条数满足预设条件；获取至少一次分组的分组次数，并从每个目标分组中统计出排序在前的第一预设条数的数据作为目标数据；根据分组次数对每个目标分组的目标数据进行合并处理，得到合并处理后的目标数据；以及将合并处理后的目标数据作为从待统计数据集合中统计出的条数为用户预设的目标统计数的数据。通过本发明能够在存储空间有限的情况下，保证数据统计的准确性。

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据统计方法和装置。

背景技术

随着互联网技术的发展，网络安全报表的功能主要是统计过去一段时间内某些事件(例如，系统信息、流量、安全、防病毒、攻击、应用和用户等)发生的情况，并把这些数据以某些规则(例如，排序、筛选等)，按照一定方式(例如，图标)体现给使用者，供其对网络的安全情况进行判断，进而做出下一步的决策。例如，管理员关注过去一个月内防火墙发现病毒数最多或攻击次数最多的前10个IP地址，从而对这10个IP地址对应的设备进行更进一步的检测，以消除网络隐患。

然而，对于这些需要统计的数据类型、可以追溯的事件期限(即最长可以记录的时间)、数据体现形态、配置方式等，面临的问题是：如何存储源数据。为了对一些数据进行排名，报表需要统计一段时间内某些事件的发生的频度，比如为了统计1个月内被安全设备识别出攻击次数最多的前30个IP地址，安全设备就需要记录一个月内所有发生过攻击行为的IP地址及每个IP地址对应的攻击次数，到达统计期限的时候进行排序，统计出前30个。这样数据存储的规模就取决于IP地址的多少以及攻击的类型多少，当该安全设备部署在拓扑较复杂且流量较大的位置时，需要统计的数据就会很多。

由于以上描述的只是统计一种类型的事件，而实际的产品，根据产品的定位，需要统计几十甚至上百种事件，这就需要非常大的存储空间，对于一些小存储的设备，或是一些由于其他功能已经占用了大量存储空间(例如，系统日志)的设备来说，无法实现报表要求的数据统计功能。

因此，想要准确的统计一些事件就得记录事件每次发生的信息，这样会造成存储空间占用过大，而如果对于事件进行采样，舍弃一些数据，减少存储空间，但会牺牲数据统计的准确性，最好的做法是在统计的准确性和存储空间之间做好折中，在存储空间能接受的范围内，尽量保证数据的准确性。但目前在统计的准确性和存储空间之间做折中的方法并没有统一的标准。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种数据统计方法，能够在存储空间有限的情况下，保证数据统计的准确性。

本发明的另一个目的在于提出一种数据统计装置。

为达到上述目的，本发明第一方面实施例提出的数据统计方法，包括：获取待统计数据集合；对待统计数据集合内的多条数据进行至少一次分组，得到多个目标分组，其中，每个目标分组中的数据的条数满足预设条件；获取所述至少一次分组的分组次数，并从所述每个目标分组中统计出排序在前的第一预设条数的数据作为目标数据；根据所述分组次数对所述每个目标分组的目标数据进行合并处理，得到合并处理后的目标数据；以及将合并处理后的目标数据作为从所述待统计数据集合中统计出的所述条数为用户预设的目标统计数的数据。

在本发明的一个实施例中，所述对待统计数据集合内的多条数据进行至少一次分组，得到多个目标分组，包括：

将待统计数据集合内的多条数据按照条数平均进行第一次分组，得到预设个数的第一目标分组；

判断在所述第一次分组后，每个第一目标分组中的数据的条数是否小于或者等于目标条数；

在大于所述目标条数时，将所述每个第一目标分组中的数据按照条数平均进行第二次分组，得到与所述每个第一目标分组对应的预设个数的第二目标分组；