[发明专利]一种企业管理数据分析处理系统及其方法

说明书

本发明涉及企业管理技术领域，特别涉及一种企业管理数据分析处理系统，还特别涉及一种企业管理数据分析处理方法；本发明包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块；在本发明中，由于在企业管理数据分析处理系统的底层利用Hadoop系统来进行数据分析，而在企业管理数据分析处理系统的上层则以任务调度模块来实现对任务的统筹管理，以及提供更为人性化的、更为方便的交互管理模式，从而既可以利用Hadoop系统进行数据分析而避免了繁杂的对关系型数据库的分表、拆表、合并等操作，简化了数据分析流程，又提供了更为方便地对任务进行调度、管理的系统。

技术领域

本发明涉及企业管理技术领域，特别涉及一种企业管理数据分析处理系统，还特别涉及一种企业管理数据分析处理方法。

背景技术

近几年，由于数据在互联网领域的持续增长，各公司都面临海量数据的处理需求。部门内的数据分析主要为公司各部门运维服务，数据分析主要基于各部门的服务器（Server）产生的日志来进行分析，如apache日志、nginx日志等，目的是基于这些日志对用户访问、数据流量在时间维度、产品线维度、域名维度等有明确的量化数据，从而为公司服务器运维管理、流量分配、预估等提供建议。

例如对某产品线的nginx日志进行收集，收集到日志后，需要对日志进行清洗，例如，按照每5分钟进行初步合并，并统计所有未来需要的字段数据，可能包含的有点击量、下载数据字节。同时需要按照多个维度进行统计，如按照产品线、域名，按照产品线、服务器ip等维度进行统计，该阶段涉及的数据量很大。

最终用户可以基于这些数据拿到某天详细的数据访问量曲线图，或者是某天、某小时的点击或带宽。也可以得到不同维度的下载速度数据等等。

现有技术的基于关系型数据库进行数据分析的过程，通常包括以下环节：日志收集、日志数据获取和初步处理、数据拆分入库、子表数据合并、数据库外聚合、数据展现等环节。

具体地，数据分析服务器在接收到从日志中获取的待分析数据后，先使用数据检查脚本程序对数据进行检查及格式化处理，然后做初步处理(如5分钟清洗处理，这个环节会将每行日志合并到每个所在的5分钟中(每小时包含12个5分钟，5分钟一个分析点))，然后在此基础上再使用其他异构脚本程序做其他的中间分析，这中间需要涉及到对关系型数据库的分表、拆表及合并，同时还需要考虑关系型数据库在千万级数据量下的处理速度，从而采用对于数据库集群的均衡方案，并从不同服务器上的数据库中拉取数据再使用其他的完成指定需求的脚本程序进行聚合。经过复杂的多层处理环节，最终统计出数据，并展示数据。

然而，随着网站规模及用户量的持续增长，数据量激增，现有技术的数据分析过程中通过复杂的分表、拆表、合并得出具体的分析结果，其技术实现流程复杂，需要专门的维护人员进行维护。而且，如果需要增加新的业务分析需求，则需要增加新的分析脚本，不利于扩展。

综上所述，现有技术的数据分析方法，因其需要对关系型数据库进行复杂的分表、拆表、合并等操作，实现流程复杂且不易维护；并且，现有技术的数据分析方法不利于扩展新的业务分析需求。

发明内容

为了克服上述所述的不足，本发明的目的是提供一种企业管理数据分析处理系统，从而简化数据分析流程，便于维护；还提供一种企业管理数据分析处理方法。

本发明解决其技术问题的技术方案是：

一种企业管理数据分析处理系统，包括：待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；任务调度模块和任务处理模块，所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言HiveSQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。