[发明专利]一种数据采集方法、装置、电子设备及存储介质

说明书

本发明提供了一种数据采集方法、装置、电子设备及存储介质，该方法应用于移动端设备，包括：从云端设备获取目标任务的任务信息，任务信息中包括目标任务的埋点信息、数据筛选条件及时间窗口，云端设备用于对任务信息进行存储；根据埋点信息，确定目标任务的数据埋点，并从数据埋点获取符合数据筛选条件的埋点数据，作为待处理数据；按照时间窗口，对待处理数据进行聚合，得到聚合结果，并将聚合结果存储为目标任务的数据文件。这样，根据任务信息进行数据埋点，对数据进行聚合，就可以获取目标任务对应的数据文件，如需要修改目标任务所需要的数据，只需在云端设备对任务信息进行修改，数据的获取方式较为灵活，局限性较小。

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据采集方法、装置、电子设备及存储介质。

背景技术

在收集用户行为数据的场景下，移动端具有天然的用户行为数据优势，可以直接与用户进行交互，获取用户的行为数据。

目前在移动端通常采取硬编码形式获取用户行为数据，也就是说，直接将需要获取的用户行为数据的信息嵌入到程序或其他可执行对象的源代码中，在程序或代码的执行过程中实现用户行为数据的获取。

但是，由于硬编码数据通常只能通过编辑源代码和重新编译可执行文件来修改，因此，目前的用户行为数据的获取方式不灵活，需要针对特定需求的进行开发，然后跟随版本发布进行迭代更新，数据难于有效利用，局限性非常大，灵活性非常差。

发明内容

为解决上述技术问题，本发明示出了一种数据采集方法、装置、电子设备及存储介质。

本发明提供了一种数据采集方法，应用于移动端设备，所述方法包括：

从云端设备获取目标任务的任务信息，所述任务信息中包括所述目标任务的埋点信息、数据筛选条件及时间窗口，所述云端设备用于对所述任务信息进行存储；

根据所述埋点信息，确定所述目标任务的数据埋点，并从所述数据埋点获取符合所述数据筛选条件的埋点数据，作为待处理数据；

按照所述时间窗口，对所述待处理数据进行聚合，得到聚合结果，并将所述聚合结果存储为所述目标任务的数据文件。

可选地，所述目标任务包括多个，所述根据所述埋点信息，确定所述目标任务的数据埋点，并从所述数据埋点获取符合所述数据筛选条件的埋点数据，作为待处理数据，包括：

根据所述目标任务的埋点信息，生成每个数据埋点的分发索引，所述分发索引用于指示每个数据埋点与至少一个所述目标任务之间的对应关系；

对所述数据埋点进行监听，根据所述分发索引，确定监听到的埋点数据对应的目标任务；

判断所述监听到的埋点数据是否符合所述数据埋点对应的任一目标任务的数据筛选条件，若符合，则将监听到的埋点数据作为所述任一目标任务的待处理数据。

可选地，所述按照所述时间窗口，对所述待处理数据进行聚合，得到聚合结果，包括：

将所述任务信息的获取时间作为起始时间，确定所述目标任务的多个时间窗口的截止时间；

当达到任一时间窗口的截止时间时，对所述任一时间窗口内获取到的待处理数据进行聚合，得到聚合结果。

可选地，所述任务信息中还包括第一聚合规则，所述按照所述时间窗口，对所述待处理数据进行聚合，得到聚合结果，包括：

按照所述时间窗口，根据所述第一聚合规则对所述待处理数据进行聚合，得到聚合结果；

其中，所述第一聚合规则包括以下至少一种：数据个数统计、最大值计算以及最小值计算。

可选地，所述任务信息中还包括保存周期，所述将所述聚合结果存储为所述目标任务的数据文件，包括：