[发明专利]一种基于离线计算的标签体系管理方法

说明书

本发明公开了一种基于离线计算的标签体系管理方法，属于计算机技术领域。本发明的基于离线计算的标签体系管理方法，将获取的数据抽取到大数据仓库，通过离线计算生成标签，将标签导入关系型数据库中，供业务系统使用。该发明的基于离线计算的标签体系管理方法具有高可靠性、能够高效性的提高标签计算效率，具有很好的推广应用价值。

技术领域

本发明涉及计算机技术领域，具体提供一种基于离线计算的标签体系管理方法。

背景技术

随着社会的不断进步，社会经济飞速发展，计算机的应用越来越广泛。计算机具有存储信息量大，使用者获取信息方便快捷等优点，在多个领域受到广泛的应用。为了对某一类客户进行商品推荐、政策扶植等特定操作，能够快速准确的筛选出这些客户非常必要，客户标签对快速筛选出客户具有重要的作用。客户标签作为一种元数据（描述数据的数据），它将客户信息通过简短的短语表述出来，并通过体量较小的方式存储，灵活且精炼，非常适合大数据环境下的应用模式。现有技术中，客户标签体系普遍采用的分层的方式，利用数据库存储过程或在软件中配置定时器进行标签的计算。但是当数据量特别大时，传统的标签计算方式的效率较低。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种具有高可靠性，能高效性的提高标签计算效率的基于离线计算的标签体系管理方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于离线计算的标签体系管理方法，所述方法将获取的数据抽取到大数据仓库，通过离线计算生成标签，将标签导入关系型数据库中，供业务系统使用。

作为优选，该方法将标签体系设计为数据层、管理层和服务层。

作为优选，所述数据层包括大数据仓库和关系型数据库，大数据仓库用于对原始数据进行存储，关系型数据库用于对计算后的标签信息进行存储。

作为优选，大数据仓库包括Hive、HBase、Redis、HDFS，关系型数据库为MySQL。

作为优选，所述管理层包括对数据的ETL过程、离线计算过程和标签导入过程。

ETL即 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。

作为优选，管理层将获取的数据汇总到大数据仓库上，通过离线计算生成标签，将标签导入到关系型数据库MySQL上，供业务系统使用。

管理层将企业内业务数据、互联网爬取数据、宏观经济数据等各种渠道获取的数据汇总到大数据仓库上，通过离线计算生成标签，然后将标签导入到关系型数据库MySQL上供业务系统使用。同时设置定时任务，对所有任务进行统筹管理，针对数据变化，进行不断的抽取计算。

作为优选，所述服务层对标签进行整体的管理操作，包括标签分类、标签模型和标签应用。

服务层还包括标签关联、客户关联、客户画像、客户模型计算、标签统计分析以及对外接口提供等。

作为优选，所述标签分类包括事实标签、模型标签和预测标签。

与现有技术相比，本发明的基于离线计算的标签体系管理方法具有以下突出的有益效果：该基于离线计算的标签体系管理方法可操作性强，需要处理的数据在处理前不会发生变化，并且具有高可靠性、高效性等特点，特别适合在大量数据上进行复杂的批量运算，数据处理效率高，具有良好的推广应用价值。

附图说明

图1是本发明所述基于离线计算的标签体系管理方法的标签管理体系示意图；

图2是标签计算过程示意图；

图3是本发明具体实施例的示意图。