[发明专利]一种多源异构数据处理系统在审
申请号: | 202011121166.0 | 申请日: | 2020-10-19 |
公开(公告)号: | CN112162754A | 公开(公告)日: | 2021-01-01 |
发明(设计)人: | 吴炎泉 | 申请(专利权)人: | 科技谷(厦门)信息技术有限公司 |
主分类号: | G06F8/41 | 分类号: | G06F8/41 |
代理公司: | 厦门致群财富专利代理事务所(普通合伙) 35224 | 代理人: | 刘兆庆;邓贵琴 |
地址: | 361000 福建省厦*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种多源异构数据处理系统,包括数据接口模块、数据管道模块、大数据分析平台、数据处理模块及编译模块,所述数据接口模块由多种数据源或数据仓库的I/O接口组成,所述数据管道模块用于构建将数据从数据源或数据仓库传输到大数据分析平台的管道,所述大数据分析平台包括Direct Pipeline、Apache Spark、Apache Flink和Google Cloud Dataflow,所述数据处理模块用于生成数据加工处理程序,所述编译模块集成于大数据分析平台,用于对数据加工处理程序进行编译,转换为大数据分析平台可执行的程序代码。 | ||
搜索关键词: | 一种 多源异构 数据处理系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科技谷(厦门)信息技术有限公司,未经科技谷(厦门)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011121166.0/,转载请声明来源钻瓜专利网。