[发明专利]一种多元化大数据统计报告自动生成方法、系统及可读介质

说明书

本发明涉及一种多元化大数据统计报告自动生成方法、系统及可读介质，包括以下步骤：S1对数据源中的数据进行扫描，并根据数据重要性将数据分为关键数据和非关键数据，对于关键数据生成日志，对于非关键数据进行物理化备份；S2对数据源中的数据进行实时监控或周期性监控，若发现数据异常则向用户发出警报，同时暂停数据处理过程，并将经过步骤S1处理的数据存储至目标数据库；S3提取目标数据库中的数据，并对其进行分类，根据不同的数据类别对数据进行分析处理；S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项，从而生成统计报告。其操作简单，成本较低，计算量较小，能够快速准确的生成统计报告。

技术领域

本发明涉及一种多元化大数据统计报告自动生成方法、系统及可读介质，属于数据处理技术领域。

背景技术

很多企业、机构或个人经常会在做辅助公司或领导决策的统计报告，因为整体业务不熟，不知道一个统计报告需由哪些统计内容构成，以及如何安排统计要素之间的关系、计算公式、报告样式。传统企业完成这项工作，通常会使用Excel表写出复杂的运算公式，来进行数据统计工作。在面对小数据的情况下，虽然可能过程繁琐，但还能基本胜任。而如果是基于大数据的复杂运算统计报告，那么使用传统的Excel表将无法完成繁重的数据处理任务。

这些事务在大型企业里可以通过购买昂贵的BI展示服务来获得，但是BI展示服务价格昂贵，其功能虽然很全面，但是很多功能并不是每次统计都需要的，从而造成一定程度的浪费。

发明内容

针对上述问题，本发明的目的是提供了一种多元化大数据统计报告自动生成方法、系统和可读介质，其操作简单，成本较低，计算量相对较小，可以快速、准确、个性化的生成统计报告。

为实现上述目的，本发明采取以下技术方案：一种多元化大数据统计报告自动生成方法，包括以下步骤：S1对数据源中的数据进行扫描，并根据数据重要性将数据分为关键数据和非关键数据，对于关键数据生成日志，对于非关键数据进行物理化备份；S2对数据源中的数据进行实时监控或周期性监控，若发现数据异常则向用户发出警报，同时暂停数据处理过程，并将经过步骤S1处理的数据存储至目标数据库；S3提取目标数据库中的数据，并对其进行分类，根据不同的数据类别对数据进行分析处理；S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项，从而生成统计报告。

进一步，步骤S2中存储至目标数据库中的数据包括：业务数据、日志数据和文件数据。

进一步，步骤S3中将目标数据库的数据分为关系型数据、非关系数据和附件型数据三类。

进一步，对于关系型数据在分析时直接通过经过训练的结构化查询语句进行查询，并将查询的结果进行提取。

进一步，对于非关系型数据在分析时，将其进一步分为需要计算的数据和不需要计算的数据两类，对于不需要计算的数据直接从Hbase数据库的调用接口查询并提取数据；对于需要计算的数据采用spark进行分布式计算。

进一步，步骤S1中对数据源中的数据进行扫描，采用非触发周期性扫描方式，依据数据源端的修改时间、数据大小、日志记录或操作记录变化标识确认数据发生变化继而进行操作。

进一步，步骤S1中生成的日志采用数据作业日志映射即时文本录入和数据表概括描述两种方式，并且将数据源中生成的日志与数据在分析处理过程中产生的日志分开，物理化备份采用增量数据留存和定期数据文件压缩两种方式。

进一步，步骤S3中采用数据增量采集、全量加载和数据拉链线性历史记录三种方式提取目标数据库中的数据。