[发明专利]数据打标方法、处理方法以及装置

说明书

本申请公开了一种数据打标方法、处理方法以及装置。该数据打标方法包括将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作，生成实时标签；从数仓中获取已完成打标作业的离线标签；将所述实时标签和所述离线标签分别存储至HBase分布式数据库。本申请解决了数据打标效果不佳的技术问题。通过本申请能够提供实时标签，同时能够实时向下游反馈标签内容的变化结果。此外，本申请适用于大数据集群架构。

技术领域

本申请涉及大数据处理领域，具体而言，涉及一种数据打标方法、处理方法以及装置。

背景技术

标签系统，通过人工或机器学习的方式进行数据打标。

发明人发现，标签系统的缺点在于：大多采用的是离线数据实时性差。进一步，如果面向数据集群其大规模数据存储能力不足，不能实时向下游反馈标签内容的变化结果。

针对相关技术中数据打标效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据打标方法、处理方法以及装置，以解决相关技术中数据打标效果不佳的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据打标方法。

根据本申请的数据打标方法包括：将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作，生成实时标签；从数仓中获取已完成打标作业的离线标签；将所述实时标签和所述离线标签分别存储至HBase分布式数据库。

进一步地，将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作，生成实时标签包括：

将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作消费所述预设数据源产生标签消息并输出至第一消息中间件，通过所述第一消息中间件直接输出至应用程序。

进一步地，将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作，生成实时标签包括：

将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作消费所述预设数据源产生标签消息并输出至第二消息中间件，通过所述第二消息中间件通过流处理后输出至所述HBase分布式数据库存储。

进一步地，将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作，生成实时标签之前还包括：

将数据集群中预设数据源配置为：

通过MySQL从数据库的变更记录中解析标签增量数据订阅，建立标签数据集群作为预设数据源；

将预设消息队列的消息作为预设数据源；

将预设消息中间件的消息作为预设数据源。

进一步地，从数仓中获取已完成打标作业的离线标签包括：

离线部分的数据源来自数仓。每日调度作业会自动判断每个离线标签的上游作业是否完成，并在完成后调起相应的离线标签作业，批量写入至HBase。

为了实现上述目的，根据本申请的一个方面，提供了一种基于数据标签的数据处理方法，用于消费标签数据，所述方法包括：将数据集群中预设数据源产生的预设标签消息数据按照分布式流处理操作，生成实时标签；从数仓中获取已完成打标作业的离线标签；将所述实时标签和所述离线标签分别存储至HBase分布式数据库；通过面向消息的中间件将所述HBase分布式数据库中的标签数据输出至应用程序中进行消费；在HBase分布式数据库中的标签数据通过后端应用以接口的形式输出至应用程序。

进一步地，方法还包括：

通过预设缓存作业，所述HBase分布式数据库中最新更新的标签数据缓存至Hive表，并通过预设数据查询引擎进行标签运算并将结果输出至应用程序。