[发明专利]数据处理方法及装置、数据查询方法及装置、网络设备

说明书

本发明提供了一种数据处理方法及装置、数据查询方法及装置、网络设备，该数据处理方法包括：采集待处理的原始数据；对原始数据按照指定格式进行结构化处理，得到结构化数据；对结构化数据进行聚合处理以得到聚合数据，将聚合数据作为原始数据处理后的数据；其中，聚合数据的数据量小于原始数据的数据量。本发明能够有效缩减数据量，改善现有技术中数据量庞大的问题。

技术领域

本发明涉及数据处理技术领域，尤其是涉及数据处理方法及装置、数据查询方法及装置、网络设备。

背景技术

在诸如云服务等领域中通常会涉及到庞大的数据量。诸如，云服务提供商会为用户提供计算服务、网络服务、存储服务等多种计费产品(又可称为资源)，并以数据形式记录用户在预设时间段内所消耗的资源量，得到用于作为收费依据的资源消耗数据。云服务提供商所记录得到的资源消耗数据量通常巨大。诸如，对于一个资源而言，如果云服务提供商以1秒一次的频率记录一条资源消耗数据，一天将会记录86400条数据，如果云服务提供商可提供一万个资源，一天记录的资源消耗数据则是8亿，更何况云服务提供商通常可提供几万、几十万甚至百万的资源。庞大的数据量可能会带来存储不便、查询耗时长等诸多问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理方法及装置、数据查询方法及装置、网络设备，能够有效缩减数据量，改善现有技术中数据量庞大的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种数据处理方法，包括：采集待处理的原始数据；对所述原始数据按照指定格式进行结构化处理，得到结构化数据；对所述结构化数据进行聚合处理以得到聚合数据，将所述聚合数据作为所述原始数据处理后的数据；其中，所述聚合数据的数据量小于所述原始数据的数据量。

在一些实施例中，所述对所述原始数据按照指定格式进行结构化处理，得到结构化数据的步骤，包括：从所述原始数据中查找与预设结构化表中的各字段对应的数据，并将查找到的所述数据填写在所述预设结构化表中对应的字段处；将经填写的所述预设结构化表作为结构化数据。

在一些实施例中，所述方法还包括：如果从所述原始数据中未查找到与所述预设结构化表中指定的关键字段对应的数据，丢弃所述原始数据。

在一些实施例中，所述对所述结构化数据进行聚合处理，得到聚合数据的步骤，包括：将所述结构化数据进行分组，得到至少一个数据组；其中，同一个所述数据组中的多条结构化数据在预设字段对应填入的数据相同；对于每个所述数据组，将该数据组中的多条结构化数据进行聚合，得到该数据组对应的聚合数据；其中，所述聚合数据为该数据组中的多条结构化数据中选取的一条结构化数据，或者，所述聚合数据为该数据组中的多条结构化数据按照预设算法形成的一条新的结构化数据。

在一些实施例中，所述方法还包括：将得到的所述聚合数据存储于非关系型数据库中；所述非关系型数据库部署于服务器集群上。

在一些实施例中，所述采集待处理的原始数据的步骤，包括：按照预设频率从部署有计费产品的服务器获取待处理的原始数据；其中，所述原始数据为所述服务器记录的所述计费产品的资源消耗数据；所述服务器的数量为一个或多个。

第二方面，本发明实施例还提供一种数据查询方法，包括：如果接收到数据查询请求，从预设的数据库中查找与所述数据查询请求对应的聚合数据；其中，所述数据库中存储有如第一方面任一项实施例提供的所述的数据处理方法得到的聚合数据；将查找到的所述聚合数据反馈给所述数据查询请求的请求方。

第三方面，本发明实施例提供了一种数据处理装置，包括：数据采集模块，用于采集待处理的原始数据；数据结构化模块，用于对所述原始数据按照指定格式进行结构化处理，得到结构化数据；数据聚合模块，用于对所述结构化数据进行聚合处理以得到聚合数据，将所述聚合数据作为所述原始数据处理后的数据；其中，所述聚合数据的数据量小于所述原始数据的数据量。