[发明专利]一种基于模型构建的数据打标方法

说明书

本发明涉及数据打标技术领域，具体地说是一种基于模型构建的数据打标方法。一种基于模型构建的数据打标方法，打标方法包括如下：S1，元数据维护阶段；S2，标签定义维护阶段；S3，标签任务执行阶段；S4，标签服务阶段。同现有技术相比，提供一种基于模型构建的数据打标方法，无需开发人员进行代码开发的工作即可生成标签数据，数据打标能力可以面向非技术人员，直接开放给业务人员编辑标签规则，后台自动转化成标签任务生成标签，省去业务和开发沟通。

技术领域

本发明涉及数据打标技术领域，具体地说是一种基于模型构建的数据打标方法。

背景技术

当前互联网应用中存在大量的使用标签的业务场景，例如智能营销，店铺分群，智能调补配等业务场景。

传统的数据标签处理的工作都是通过数据工程师开发程序进行数据打标，导致标签的开发效率低、维护成本高。

发明内容

本发明为克服现有技术的不足，提供一种基于模型构建的数据打标方法，无需开发人员进行代码开发的工作即可生成标签数据，数据打标能力可以面向非技术人员，直接开放给业务人员编辑标签规则，后台自动转化成标签任务生成标签，省去业务和开发沟通。

为实现上述目的，设计一种基于模型构建的数据打标方法，其特征在于：所述的打标方法包括如下：

S1，元数据维护阶段：将需要打标的实体类型，以及建立实体OneID数据体系，这部分工作是后面标签生成的基础；

S2，标签定义维护阶段：需要根据业务场景将标签的名称、编码、生成规则和标签生成周期定义好；

S3，标签任务执行阶段：大数据平台会根据S2阶段的标签定义通过规则引擎将标签生成规则解析成任务脚本，并生成相对应的任务，按照标签生成周期执行该任务生成标签数据；

S4，标签服务阶段：将S3阶段生成的标签数据通过API的方式提供服务给外部应用使用。

所述的建立实体OneID数据体系是对需要打标的实体进行数据模型构建。

所述的实体类型包括实时性要求高的数据及实时性要求低的数据，对于实时性要求高的数据，采用CDC的方式，通过Kafaka读取源数据库的日志，再通过Flink 处理加工，直接存入标签元数据体系中；对于实时性要求低，但是需要对大批量数据需要通过批处理，每天通过集成工具Datax将历史数据批量同步到离线数仓的 ODS层，之后通过sql任务流的方式将ODS层的数据处理好存到DW层，形成明细层数据和聚合层数据，再通过sql任务流利用DW的数据面向业务场景进行加工形成DM层数据。

所述的标签的规则包括左手元和右手元；左手元是条件，右手元是结果。

所述的标签的定义方法如下：

S21，标签类目维护；

S22，标签定义维护；

S23，标签分层定义维护；

S24，标签分层规则维护。

所述的标签引擎执行过程如下：

S31，读取标签定义信息；

S32，获取标签分层规则信息；

S33，解析标签分层规则层任务脚本；

S34，调度任务执行引擎执行脚本；

S35，保存任务执行结果到标签库。

所述的标签的使用场景包括普通标签查询应用场景、对象分群查询应用场景。

所述的普通标签查询应用场景过程如下：

S411，接受应用的标签信息查询请求；