[发明专利]大数据背景下数据埋点准确性校验的解决方案

说明书

本发明公开了大数据背景下数据埋点准确性校验的解决方案，包括埋点数据准确性的自动化校验；埋点数量的准确性校验；埋点数据准确性的自动化校验：用户配置需校验数据字段的校验规则后，程序通过Flink实时处理进行匹配，并将处理结果落地到Apache Druid库中以供展示。埋点数量的准确性校验：用户设置校验规则后，程序通过Flink窗口将″前端″，″网关″，″后台″及查询DB数量进行比对，并将处理结果落地到Apache Druid库中以供展示。

所属技术领域

本专利涉及一种在大数据背景下数据埋点准确性校验的解决方案，属于互联网技术领域。

背景技术

数据埋点是一种网站分析的常用数据采集方法，具有良好的私有化部署特点。联合公司工程、ETL采集分析用户全量行为，建立用户画像，还原用户行为模型，可作为产品分析、优化的基础。

但因手动埋点工程量极大，且一不小心容易出错，成为很多工程师的痛。所以本发明基于此提供了一种在大数据背景下数据埋点准确性校验的解决方案。

发明内容

本发明的主要目的在于提供一种在大数据背景下数据埋点准确性校验的解决方案。

为达到上述目的，本发明采用以下技术方案：

埋点准确性校验：用户通过在管理服务配置需校验数据字段的校验规则，定时任务扫描待执行的校验任务并将放入Redis中通知Flink进行流式处理，Flink有两个数据源，一个是从消息中间件中读出来的埋点消息，另一个就是Redis中的任务开始通知。Flink根据校验规则对从消息中间件中取出来的埋点消息进行对比，并将结果存储到ApacheDruid。管理服务通过读取Apache Druid中的校验结果数据进行展示。

埋点数量校验：用户通过在管理服务配置数量校验规则，前端埋点和网关埋点数量进行对比，后台埋点数量和DB的数量进行对比。定时任务扫描待执行的校验任务并将放入Redis中通知Flink进行流式处理，Flink有两个数据源，一个是从消息中间件中读出来的埋点消息，另一个就是Redis中的任务开始通知。Flink根据校验规则对从消息中间件中取出来的埋点消息进行对比，此处并不实时落库，还需利用Flink的窗口机制统计一段时间的数量，并将数量存储在Apache Druid。管理服务通过读取Apache Druid的校验数量进行展示。

附图说明

图1：部署架构图。

图2：任务启动流程图。

图3：任务终止流程图。

具体实施方式

下面将结合发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述。本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种在大数据背景下数据埋点准确性校验的解决方案。

所属的方案包括如下步骤：

埋点准确性校验：

步骤一：用户通过在管理服务配置需校验数据字段的校验规则，包含“项目”、“平台”、“来源”，“任务开始/结果时间”以及“事件规则”等。

步骤二：定时任务扫描待执行的校验任务并将放入Redis中通知Flink进行流式处理，任务通知使用Redis的zset数据结构来存放有效任务，任务详情通过Redis的String数据结构来存放包含步骤一配置的任务信息。

步骤三：Flink流式处理，从消息中间件中读取埋点流信息，并将redis的任务开始及详细信息配置为广播流，对比埋点流信息和redis中的任务信息。

步骤四：将步骤三中的数据对比结果存储到Apache Druid中。