[发明专利]数据采集平台中数据处理的模块化方法及装置

说明书

本发明公开了一种数据采集平台中数据处理的模块化方法及装置，涉及计算机技术领域，主要目的在于提高数据采集平台中添加、修改及删除数据采集指标的灵活性。本发明的主要技术方案包括：根据数据采集指令采集待处理数据；其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；解析所述数据采集指令，并获取所述待处理数据的所述配置信息；基于所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。本发明主要应用于数据采集过程中。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据采集平台中数据处理的模块化方法及装置。

背景技术

数据分析是组织有目的地收集数据、数据处理、分析数据，使之成为信息的过程。数据分析的前提是数据采集和数据处理，在数据采集过程中数据来源可能不同，格式也可能不同，因此在进行数据采集时，可以使用现有技术中提供的数据采集软件，例如，在采集网页视频播放数据时，可以使用采集网页视频播放数据的软件开发包(SoftwareDevelopment Kit，SDK)；在采集移动端的用户行为数据时，可以使用移动端的用户行为数据SDK等等。在数据采集过程中使用的SDK，均有特定的来源信息、特定的数据格式、特定的数据传送格式，在数据处理时要分别针对特定的来源信息、特定的数据格式、特定的数据传送格式进行数据处理。

在使用数据采集软件进行数据采集时，发明人发现其存在如下问题：当同时采集网页视频播放数据与移动端的用户行为数据两种数据采集指标时，需要对网页视频播放数据与移动端的用户行为分别部署不同的数据采集平台，才能实现同时采集到网页视频播放数据与移动端的用户行为数据；或者，在一个采集网页视频播放数据的数据采集平台中添加一个采集移动端的用户行为。但是，在一个数据采集平台中添加、修改及删除数据采集指标，需要对该数据采集平台中现有的代码做较多修改，因此，现有数据采集平台中在添加、修改及删除数据采集指标时灵活性较低。

发明内容

有鉴于此，本发明提供的一种数据采集平台中数据处理的模块化方法及装置，主要目的在于提高数据采集平台中添加、修改及删除数据采集指标的灵活性。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据采集平台中数据处理的模块化方法，该方法包括：

接收数据采集指令，并根据所述数据采集指令采集待处理数据；其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；

解析所述数据采集指令，获取所述待处理数据的所述配置信息；

基于所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。

另一方面，本发明还提供一种数据采集平台中数据处理的模块化装置，该装置包括：

接收单元，用于接收数据采集指令，其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；

采集单元，用于根据所述接收单元接收的所述数据采集指令采集待处理数据；

解析单元，用于解析所述接收单元接收的所述数据采集指令；

获取单元，用于在所述解析单元解析所述数据采集指令之后，获取所述待处理数据的所述配置信息；

处理单元，用于基于所述获取单元获取的所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。