[发明专利]基于业务规则通过模型工具提炼标签的方法及装置

说明书

本发明公开了一种基于业务规则通过模型工具提炼标签的方法及装置，属于大数据处理技术领域。本发明的基于业务规则通过模型工具提炼标签的方法，所述方法接入不同异构数据源，按照需求通过模型工具建模，通过多种建模组件自由组合，建模组件之间通过链路连接，将复杂业务进行组件分解，完成对数据打标签。该发明的基于业务规则通过模型工具提炼标签的方法能够更为深入的利用数据，服务企业、政府、社会，并大大降低运营成本，提升企业价值，具有很好的推广应用价值。

技术领域

本发明涉及大数据处理技术领域，具体提供一种基于业务规则通过模型工具提炼标签的方法及装置。

背景技术

随着信息化的普及以及政府企业近年来的大数据建设，规模及应用已见成效，而如何深挖数据进一步提升效能则成为主要考虑因素。数据标签作为一种元数据（描述数据的数据），它将业务通过简短的短语表述出来，并通过体量较小的方式存储，灵活且精炼，非常适合大数据环境下的应用模式。但是由于业务的繁杂，技术门槛较高，很难实现快速且灵活的打标签。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够更为深入的利用数据，服务企业、政府、社会，并大大降低运营成本，提升企业价值的基于业务规则通过模型工具提炼标签的方法。

本发明进一步的技术任务是提供一种基于业务规则通过模型工具提炼标签的装置。

为实现上述目的，本发明提供了如下技术方案：

基于业务规则通过模型工具提炼标签的方法，所述方法接入不同异构数据源，按照需求通过模型工具建模，通过多种建模组件自由组合，建模组件之间通过链路连接，将复杂业务进行组件分解，完成对数据打标签。

所述异构数据源包括关系型数据库、内存数据库、分布式数据库及文件等。

该方法以数据为基础，模型工具为依据，规则为导向，任务为实现的理念，实现数据打标签的功能。首先提出数据从业务中剥离的创新思想，屏蔽技术上的差异，将数据作为加工的作料，以数据集的模式提供给加工者。模型工具是业务的实现，将复杂业务分解，通过组件化的模式体现，降低业务建模的成本，提高业务专注度。规则是模型工具的实现，通过初始化模型（模型参数设置）达到模型的复用。任务是对任意规则的组合，通过接入数据资源，将模型规则真正落地实现。通过该方法将普通用户通过图形配置并按照模型要求实现数据打标签的目标成为现实。

作为优选，该方法包括建模工具、运算引擎和数据存储。

作为优选，建模工具利用开源图形控件重新整合，加入建模组件，建模组件之间通过链路连接，利用上一建模组件的输出是下一建模组件的输入，将复杂业务进行组件分解，通过组件间的协作，实现业务逻辑。

作为优选，所述建模组件包括输入、分组、比对、转换、过滤、判断、自定义、输出。

作为优选，运算引擎通过大数据流式处理模式，完成模型工具建模运算，得出结果，为数据打标签提供依据。

作为优选，运算引擎运用的技术包括spark、内存计算、ngix反向代理。

本发明中利用大数据流式处理模式结合ngix反向代理，稳定而高效的支撑标签模型的计算。其中大数据流式处理模式按照前端组件串并的模式，将分布式计算按照步骤模式处理，实现了前端配置与后端处理的完美匹配，同时强大的ngix反向代理，支撑流式处理中的原子性操作，为模型运算提供依据，高效、稳定的保障提炼标签的完成，再通过数据存储让数据标签安全落地。

作为优选，所述数据存储采用分布式数据库和索引数据库，完成对标签数据的存储。