[发明专利]可视化数据采集方法

权利要求书

1.一种可视化数据采集方法，其特征在于，包括如下步骤：

(1)注册数据库，保存相应的URL信息、用户名、密码，并测试连接，确保所述数据库连接的连通性；

(2)在图形界面上配置数据源，对不同的数据源进行分类；对于文件的采集，配置所述文件的目录路径；

(3)在图形界面上对不同厂商的采集器进行适配，指定需要采集的字段、设置分区、设置更新方式；

(4)用采集器对数据进行采集和导入；

(5)配置代码项，建立事实表与维表的关联关系；

(6)保存数据表。

2.根据权利要求1所述的可视化数据采集方法，其特征在于，步骤(4)中采集到的数据导入到hdfs中。

3.根据权利要求2所述的可视化数据采集方法，其特征在于，数据导入时，根据hdfs集群的规模环境，对需要导入的数据进行切分，生成多个map任务，实现快速导入。

4.根据权利要求3所述的可视化数据采集方法，其特征在于，在yarn的任务列表中实时获取每个map任务信息及进度信息，根据进度信息估计所述map任务结束的时间；

所述进度信息和任务结束时间显示在图形界面上。

5.根据权利要求1所述的可视化数据采集方法，其特征在于，如果出现数据导入任务失败，手动执行失败任务。

6.根据权利要求1所述的可视化数据采集方法，其特征在于，在步骤(3)设置更新任务轮询周期，如果出现数据导入任务失败，在下一次更新任务轮询时自动执行失败任务。

7.根据权利要求1所述的可视化数据采集方法，其特征在于，步骤(3)中的更新方式包括定期全量更新和定期增量更新。

8.根据权利要求2所述的可视化数据采集方法，其特征在于，数据表可以保存在hive中或elasticsearch中。

9.根据权利要求7所述的可视化数据采集方法，其特征在于，当选择数据表保存于elasticsearch中时，还包括如下步骤：

(A)创建全文表，使存放在hive中的数据表和elasticsearch中的数据表的索引进行映射；

(B)将hive中的表数据迁移到elasticsearch中。