[发明专利]基于ETL的数据服务方法及设备

说明书

本发明实施例提供了一种基于ETL的数据服务方法及设备。其中，所述方法包括：从多种数据源获取数据，数据源包括数据库、文件、WebService数据服务等，将获取的数据发送至ETL数据交换平台；采用图形化的数据清洗、整合组件对获取到的数据进行清洗转换整合，得到加工处理后的数据结果；在ETL数据交换平台上对所述数据结果提供ETL WebService形式的数据服务，并进行WebService发布。上述的整个过程一站式整合并完成。本发明实施例提供的基于ETL的数据服务方法及设备，可以一站式地将数据获取、清洗转换与数据发布服务有机结合起来，使得整个数据的获取及发布流程操作方便，部署简单，起到了最大化利用信息资源的效果。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种基于ETL的数据服务方法及设备。

背景技术

信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。企业如何通过各种技术手段简便、高效、最大化地利用现有的数据资源，减少时间和资金的浪费，把数据转换为信息、知识，已经成了提高其核心竞争力的重要方法。ETL(Extract-Transform-Load)和分布式应用程序平台(例如，WebService平台，本发明实施例主要针对该平台)则是主要的技术手段。

ETL用来将数据从来源端经过抽取(Extract)、交互转换(Transform)、加载(Load)至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

WebService是一个平台独立的，低耦合的，自包含的、基于可编程的Web的应用程序，可使用开放的XML标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。WebService技术使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可相互交换数据或集成。依据WebService规范实施的应用之间，无论它们所使用的语言、平台或内部协议是什么，都可以相互交换数据。

信息化系统建设的传统模式是将ETL和WebService作为两个独立的分系统进行建设。传统方法将数据的处理与发布过程分离，处理后得到的信息资源未能及时发布，造成信息资源时间和资金浪费。为此，找到一种将数据的处理与发布过程进行一站式实现的方法，就成为业界亟待解决的技术问题。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种基于ETL的数据服务方法及设备。

第一方面，本发明的实施例提供了一种基于ETL的数据服务方法，包括：将获取的数据发送至ETL数据交换平台，得到加工后的数据结果；在ETL数据交换平台上对所述数据结果提供ETL WebService形式的数据服务，并进行WebService发布；其中，所述将获取的数据发送至ETL数据交换平台，以及在ETL数据交换平台上对所述数据结果提供ETLWebService形式的数据服务，并进行WebService发布的步骤，整合在一起，一站式完成。

进一步地，所述获取的数据的获取方式，包括：从WebService分布式应用程序平台、数据库、JMS和/或通用文件中获取数据。

进一步地，所述通用文件，包括：文本文件、Excel文件、XML文件和/或数据集文件。

进一步地，所述在ETL数据交换平台上对所述数据结果提供ETL WebService形式的数据服务，包括：对接收的数据提供数据源管理、数据节点转换、数据节点作业、调用函数及变量、调度、监控与警告、权限管理和/或版本管理服务。

进一步地，所述在ETL数据交换平台上对所述数据结果提供ETL WebService形式的数据服务，还包括：采用可视化的ETL数据交换平台对接收的数据提供ETL WebService形式的数据服务，具体包括：服务配置、服务部署、流程设计、发布设计、创建用户、用户授权和服务验证。