[发明专利]基于ETL的数据服务方法及设备

权利要求书

1.一种基于ETL的数据服务方法，其特征在于，包括：

将获取的数据发送至ETL数据交换平台，得到加工后的数据结果，其中，ETL是指用来将数据从来源端经过抽取、交互转换、加载至目的端的过程；

在ETL数据交换平台上对所述数据结果提供ETL WebService形式的数据服务，并进行WebService发布；

其中，所述将获取的数据发送至ETL数据交换平台，以及在ETL数据交换平台上对所述数据结果提供ETL WebService形式的数据服务，并进行WebService发布的步骤，整合在一起，一站式完成；

所述在ETL数据交换平台上对接收的数据提供ETL WebService形式的数据服务，包括：

对接收的数据提供数据源管理、数据节点转换、数据节点作业、调用函数及变量、调度、监控与警告、权限管理和/或版本管理服务；

其中，数据源管理是在数据读取或者写入时，对ETL需要连接的外部数据进行存储，ETL支持数据库数据源、JMS数据源、文件数据集以及WebServices数据源的管理，支持数据源及数据集的创建、修改、删除，支持数据源、数据集元数据的整体导入导出操作，单独数据源元数据导入导出操作；

数据节点转换代表一个与数据处理的流程，是由数据读取节点、数据装载节点、数据转换节点以及正确线、错误线组成，一个执行的转换包含一个以上的节点，转换的起点和终点为任何节点；

转换中的连接线，用于连接不同的节点，连接线的方向表示数据的流向，连接线分为正确线和错误线，正确线表示能够被节点正确处理的数据的流向，错误线表示不能被组件正确处理的数据流向，错误线上的数据是未经处理的原始输入数据，其列信息包括所有的输入列，并增加说明错误类型和错误消息的列；

转换中的节点是数据处理的功能实体，用户打开节点属性配置对话框，对属性进行修改和保存，即一个节点的配置信息读取和显示不依赖于其它节点，配置信息随时保存，如果配置有错误的或者不完整，会提示用户，但是不阻止用户保存，节点配置时，与数据库相关的信息都是从ETL元数据库中获取，不需要连接数据源，转换一旦开始执行，其中的节点是同时执行的，数据连续的从一个节点流动到另外一个节点，所有数据处理完毕后，转换才停止执行，因此转换也被称为数据流；

数据节点作业是一个控制转换和其它作业节点的执行顺序和过程的流程，一个作业包括节点和连接线，用户通过作业控制转换、以及其它作业节点之间执行的先后顺序、依赖关系，因此作业又被称为控制流；

作业由作业节点和作业连线组成，作业由任何作业节点开始以由任何作业节点结束，一个作业至少包含一个作业节点，如果作业包含多个作业节点，则多个作业节点之间可以有连接也可以没有连接，即连接不是必须的，一个作业节点有任意多个输入和输出连接，作业嵌套执行，即一个作业也可以作为另外一个作业中的节点执行；

作业中的连接线表示作业节点的执行顺序，连接线分为成功线、失败线、完成线和条件线，成功线表示如果作业节点执行成功则继续执行后续节点，失败线表示作业节点执行失败后再继续执行后续节点，完成线表示无论作业执行成功还是失败，都继续执行后续节点，条件线表示当满足一定的条件时，才执行后续的节点；

调用函数及变量是使用函数来对数据进行处理，扩展系统功能，除了使用系统函数外，ETL还支持用户定义函数；

调度分为“执行一次”和“反复执行”两类，创建好的调度在作业或者转换节点上设置；

监控与警告是基于这样的考虑，即不是所有流程都可以在前台看到运行过程的，那么就通过监控的历史运行实例去查看流程的运行过程，即后台流程；

ETL监控是一个用来查看当前登录用户所建转换或作业运行日志的模块，可以分别查看当前运行实例和历史运行实例，转换或者作业下面都有当前运行实例和历史运行实例，当前运行实例是指正在运行还未结束的实例，历史运行实例是指已然运行结束的实例；

正在运行流程监控树界面，展示正在运行的流程，如果有新运行的转换或者作业，会被实时监控到，并且正在运行流程监控树界面会同步显示出运行的转换或者作业；

权限管理通过创建用户和角色，并为之分配不同的权限来实现对ETL的管理，权限是系统预先定义好的执行某种操作的能力，角色是权限管理的一种解决方案，是一组权限的集合，用户是能够访问ETL的成员，权限分为两类：功能权限和对象权限；

版本管理的操作对象包括整个元数据、单个工程、单个转换、单个作业、单个函数、单个变量、单个全局用户函数以及单个全局用户变量，版本管理的功能包括对操作对象进行备份当前版本、恢复历史版本、删除历史版本以及还原已删除对象。