[发明专利]基于ETL的轻量化自定义源数据分解读取系统和方法有效
| 申请号： | 201811345080.9 | 申请日： | 2018-11-13 |
| 公开（公告）号： | CN109635023B | 公开（公告）日： | 2021-01-15 |
| 发明（设计）人： | 颜文德;徐明;叶祖锋;王华松 | 申请（专利权）人： | 广州欧赛斯信息科技有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/215;G06F16/28;G06F16/2458 |
| 代理公司： | 广州嘉权专利商标事务所有限公司 44205 | 代理人： | 胡辉 |
| 地址： | 510000 广东省广州市高新技术产业开发*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 etl 量化 自定义 数据 分解 读取 系统 方法 | ||
1.一种基于ETL的轻量化自定义源数据分解读取系统，其特征在于：包括：
源数据库，用于存储原始数据；
第一至第N自定义ETL工具，用于对源数据库中的第一至第N自定义内容对应的数据进行清洗和统计，然后将经过清洗的数据和统计结果存入数据仓库；N大于等于2；
数据仓库，用于存储经过数据清洗的数据和统计结果，以及为数据分析系统提供经过清洗的数据和/或统计结果；
所述原始数据包括系统自动采集的表格数据和人工输入的数据；
所述数据仓库包括数据型的数据仓库和统计型的数据仓库；所述数据型的数据仓库用于存储经过清洗的数据，所述统计型的数据仓库用于存储数据的统计结果。
2.根据权利要求1所述的一种基于ETL的轻量化自定义源数据分解读取系统，其特征在于：所述对源数据库中的第一至第N自定义内容对应的数据进行清洗和统计，其具体包括：
第X自定义ETL工具在源数据库中抽取第X自定义内容对应的数据；其中，X∈[1，N]；
第X自定义ETL工具根据其设定处理规则，对抽取出来的第X自定义内容对应的数据进行数据清洗和统计。
3.一种基于ETL的轻量化自定义源数据分解读取方法，其特征在于：包括以下步骤：
获取原始数据，将原始数据存入源数据库中；
调用第一至第N自定义ETL工具对源数据库中的第一至第N自定义内容对应的数据进行清洗和统计；
将经过数据清洗的数据和统计结果存储至数据仓库；
所述原始数据包括系统自动采集的表格数据和人工输入的数据；
所述数据仓库包括数据型的数据仓库和统计型的数据仓库；所述数据型的数据仓库用于存储经过清洗的数据，所述统计型的数据仓库用于存储数据的统计结果。
4.根据权利要求3所述的一种基于ETL的轻量化自定义源数据分解读取方法，其特征在于：还包括以下步骤：
获取数据分析系统的请求；
根据数据分析系统的请求，提供经过数据清洗的数据和统计结果。
5.根据权利要求3所述的一种基于ETL的轻量化自定义源数据分解读取方法，其特征在于：所述对源数据库中的第一至第N自定义内容对应的数据进行清洗和统计，其具体包括：
第X自定义ETL工具在源数据库中抽取第X自定义内容对应的数据；其中，X∈[1，N]；
第X自定义ETL工具根据其设定处理规则，对抽取出来的第X自定义内容对应的数据进行数据清洗和统计。
6.一种基于ETL的轻量化自定义源数据分解读取系统，其特征在于：包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行如权利要求3-5任一项所述的轻量化自定义ETL的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州欧赛斯信息科技有限公司，未经广州欧赛斯信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811345080.9/1.html，转载请声明来源钻瓜专利网。
