[发明专利]可视化数据采集方法

说明书

技术领域

本发明属于数据采集领域，具体涉及一种可视化数据采集方法。

背景技术

在大数据爆发的时代，经常需要进行大量的数据迁移和数据交换等操作，其中包含了数据的导入和数据的导出、以及后期的数据处理和加工操作。

传统的数据采集的方式，主要是利用数据库层面的存储过程或者通过编制程序对数据进行采集。采集的方式比较繁琐，而且需要技术人员精通相关编程语言或者数据库SQL。由于数据除了存放在关系型数据库中，也有将数据存放在文件中，对不同类型的数据源，采集的方式也存在多变性。采集后的数据，需要统一归并和管理。

由于源数据在不停的变化，需要实时或者定时地更新数据。通常的数据采集方式是支持一次全量的导入，但这种方式无法实时追踪数据的变化，而且采集到的数据比较分散，后期的查询效率会大大下降。

以往的数据采集需要一定的编程基础，对一般用户上手比较困难。而且数据存在多样性，不仅是关系型数据库中的数据，也有文本文件中的数据，对于不同类型的数据，需要进行不同的适配。无法做到统一的入口，并且对数据采集的进度和过程难以监控，并无法对数据采集周期的进行设定。大部分只能手动的进行一次采集，而不能对数据进行全量和增量的更新。当采集需求变化时，伴随的是需要大量的程序的修改，这种修改就会无形的增加大量的人力成本，并导致降低代码的可维护性。对于采集到的数据，也不能进行统一的管理和提供查询接口。

发明内容

发明目的：针对现有技术中存在的问题，本发明公开了一种可视化数据采集方法，该方法通过图形界面配置不同的数据源和更新方式，实现数据的导入及后期的查询。

技术方案：一种可视化数据采集方法，包括如下步骤：

(1)注册数据库，保存相应的URL信息、用户名、密码，并测试连接，确保所述数据库连接的连通性；

(2)在图形界面上配置数据源，对不同的数据源进行分类；对于文件的采集，配置所述文件的目录路径；

(3)在图形界面上对不同厂商的采集器进行适配，指定需要采集的字段、设置分区、设置更新方式；

(4)用采集器对数据进行采集和导入；

(5)配置代码项，建立事实表与维表的关联规则及关系；

(6)保存数据表。

作为一种优选，步骤(4)中采集到的数据导入到hdfs中。

优选地，数据导入时，根据hdfs集群的规模环境，对需要导入的数据进行切分，生成多个map任务，实现快速导入。

Yarn是一种Hadoop资源管理器，在yarn的任务列表中实时获取每个map任务信息及进度信息，根据进度信息估计所述map任务结束的时间；所述进度信息和任务结束时间显示在图形界面上，实现了数据导入的可视化监控。

如果出现数据导入任务失败，可以手动执行失败任务，也可以采用自动执行的方式：在步骤(3)设置更新任务轮询周期，如果出现数据导入任务失败，在下一次更新任务轮询时自动执行失败任务。

为了实时追踪数据源的变化，步骤(3)中的更新方式包括定期全量更新和定期增量更新。

采集后的数据表可以保存在hive中或elasticsearch中，以提供快速的查询。

具体地，当选择数据表保存于elasticsearch中时，还包括如下步骤：

(A)创建全文表，使存放在hive中的数据表和elasticsearch中的索引进行映射；

(B)将hive中的表数据迁移到elasticsearch中。

有益效果：与现有技术相比，本发明公开的可视化数据采集方法具有以下优点：1、通过图形界面方式配置数据源、适配和连接采集器，便于用户操作；2、根据集群资源的情况，对数据切分实现快速导入，周期地对数据进行更新；3、实现了事实表和维表的关联操作，并以代码项匹配的方式，形成宽表，最终以elasticsearch的方式对外提供查询接口，极大地提升了查询速度。

附图说明

图1为本发明公开的可视化数据采集方法的流程图；

图2为注册数据库界面示意图；

图3为输入数据库信息界面示意图；

图4为采集文件数据时设置示意图；

图5为分区设置和更新方式设置界面示意图；

图6为为配置代码项的流程图；

图7为创建全文表流程图；

图8为将hive中的表数据迁移到elasticsearch中的流程图。

具体实施方式