[发明专利]数据处理方法、系统及计算机设备

说明书

本申请公开了一种数据处理方法、系统以及计算机设备。该数据处理方法包括：从多个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。该数据处理系统包括：来源线程、缓存线程、缓存、处理线程、消费者线程、以及管理线程。本申请解决了现有用户数据统计处理时处理速度缓慢，并且处理流程混乱繁琐的问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、系统及计算机设备。

背景技术

随着互联网时代的飞速发展，网上学习已经赢得越来越多用户的接受和认可。据统计2017年网上学习的用户数量已经达到1.2亿人，面对如此庞大的用户数量，用户数据的统计与处理就显得越为重要。

目前网上学习的用户数据统计处理一直是个难题，由于数据量巨大，处理起来十分缓慢并且流程十分繁琐，常见的处理方法为，先将大量数据进行存储，进而对数据进行定时轮询处理，这种处理方法处理过程十分缓慢，而且处理过程中很容易出错，导致统计结果不准确的问题。针对上述在用户数据统计处理上的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据处理方法，以解决现有用户数据统计处理时处理缓慢，以及处理流程混乱繁琐的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据处理方法。

根据本申请的数据处理方法包括：从至少一个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。

进一步的，所述处理线程和所述消费者线程由如下步骤生成：接收输入的任务代码；根据所述任务代码生成对应的目标任务；根据所述目标任务创建所述目标任务对应的处理线程和/或消费者线程。

进一步的，所述处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，包括：对所述缓存中的所述用户点击数据进行归一化处理。

进一步的，所述数据处理方法还包括：管理线程监测服务器的压力数据；当所述压力数据超过预设阈值时，管理线程发出警报信息。

进一步的，所述管理线程监测服务器的压力数据，包括：所述管理线程获取每个所述缓存线程、处理线程、和消费者线程的压力状态，以及所述缓存的剩余存储容量。

进一步的，当所述压力数据超过预设阈值时：所述管理线程建立任务处理序列，以使所述缓存线程、处理线程、和消费者线程根据所述任务处理序列依次进行任务处理。

本申请的另一方面，提供了一种数据处理系统，该数据处理系统包括：

来源线程，用于从至少一个数据来源获取用户点击数据；

缓存线程，用于将所述用户点击数据存储到缓存中；

处理线程，用于根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；

消费者线程，用于从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。

进一步的，该数据处理系统还包括：

任务生成模块，用于接收输入的任务代码，并根据所述任务代码生成对应的目标任务；

线程创建模块，用于根据所述目标任务创建所述目标任务对应的处理线程和/或消费者线程。