[发明专利]一种数据处理方法、系统、设备及介质

说明书

本发明实施例公开了一种数据处理方法、系统、设备及介质，应用于终端设备的数据处理方法包括：基于预设规则对原始数据进行采集，获得原始数据统计表；对所述原始数据统计表进行分析，得到原始数据分析表；将所述原始数据分析表上报至服务器；其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量。通过采用上述技术方案，有效减少了上报至服务器的原始数据量，进而减少了服务器的存储和分析压力。

技术领域

本发明实施例涉及大数据处理技术领域，尤其涉及一种数据处理方法、系统、设备及介质。

背景技术

随着互联网行业的飞速发展，大数据挖掘/开发领域应运而生。大数据挖掘/开发的目的旨在基于用户的上网行为挖掘用户的行为习惯、用户的行为轨迹；或者基于系统的运行数据总结系统的运行性能等，以根据用户的行为习惯制定运营策略，或者根据系统的运行性能改善系统设计等。

通常，在进行大数据挖掘时，需要完成两件事情；第一件事情为：数据采集，第二件事情为：对采集的数据进行分析。目前的工作流程为：上网终端对原始数据进行采集，并将采集的原始数据上报至服务器，服务器对该原始数据进行存储以及分析。但是，随着用户量的增加以及数据分析要求的细粒度越来越高，原始数据量呈爆炸式增涨，因此，导致服务器的存储压力以及分析压力剧增，同时，巨大的数据量带来的流量压力也越来越大。另外，由于待分析的原始数据量巨大，导致数据分析速度越来越慢，分析报表的生成效率越来越低。

发明内容

本发明实施例提供一种数据处理方法、系统、设备及介质，通过所述方法有效减少了上报至服务器的原始数据量，进而减少了服务器的存储和分析压力。

第一方面，本发明实施例提供了一种数据处理方法，应用于终端设备，所述方法包括：

基于预设规则对原始数据进行采集，获得原始数据统计表；

对所述原始数据统计表进行分析，得到原始数据分析表；

将所述原始数据分析表上报至服务器；

其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量。

第二方面，本发明实施例提供了一种数据处理方法，应用于服务器，所述方法包括：

当接收到终端设备发送的上报信号时，根据所述上报信号生成分析命令；

将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令；

接收所述终端设备上报的原始数据分析表；

对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析。

第三方面，本发明实施例提供了一种数据处理系统，所述系统包括：

终端设备和服务器；

其中，所述终端设备包括：采集模块，用于基于预设规则对原始数据进行采集，获得原始数据统计表；

第一分析模块，用于对所述原始数据统计表进行分析，得到原始数据分析表；

上报模块，用于将所述原始数据分析表上报至服务器；

所述服务器包括：生成模块，用于当接收到终点设备发送的上报信号时，根据所述上报信号生成分析命令；

下发模块，用于将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令；

接收模块，用于接收所述终端设备上报的原始数据分析表；

第二分析模块，用于对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析；

其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量。