[发明专利]一种执行代码生成方法及设备有效
| 申请号: | 201510889462.8 | 申请日: | 2015-12-07 |
| 公开(公告)号: | CN106843822B | 公开(公告)日: | 2020-07-31 |
| 发明(设计)人: | 曾文秋 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
| 主分类号: | G06F9/448 | 分类号: | G06F9/448 |
| 代理公司: | 北京睿博行远知识产权代理有限公司 11297 | 代理人: | 龚家骅 |
| 地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 执行 代码 生成 方法 设备 | ||
本申请公开了一种执行代码生成方法,在将原始代码拆分为输入表语句、输出表语句以及数据转换逻辑语句之后,确定所述输入表语句中的变量值以及与当前的执行环境对应的替换值,将输入表语句中的变量值替换为替换值,并根据执行环境、替换后的输入表语句、输出表语句以及数据转换逻辑语句生成执行代码,从而实现了通过统一的平台在不同的执行环境实现执行代码的自动生成,提高了现有执行代码的处理效率,避免了人工处理代码所带来的问题。
技术领域
本申请涉及通信技术领域,特别涉及一种执行代码生成方法。本申请同时还涉及一种执行代码生成设备。
背景技术
传统的数据操作首先需要将数据采集并存储在DBMS(数据库管理系统,DatabaseManagement System)中,然后与DBMS进行交互进行数据处理,进而才能得到用户所需要的结果。在这整个过程中用户是主动的,而DBMS系统是被动的。但是对于现在大量存在的实时数据,比如股票交易的数据,这类数据实时性强,数据量大,没有止境,传统的架构并不合适。而流计算就是专门针对这种数据类型准备的,在流数据不断变化的运动过程中实时地进行分析,捕捉到可能对用户有用的信息,并把结果发送出去。
得益于高速的数据处理特性,互联网的服务提供商或平台运营商针对流计算平台越来越予以重视。目前,支持可线性扩展、高吞吐和高可用的主流流计算服务化平台一般都支持SQL(Structured Query Language,结构化查询语言),同时可构建MRM(Map ReduceMerge)的增量计算模型。在利用增量技术解决了中间数据集容错效率的问题后,用户可在云端方便的管理和配置任务,并且能够提供稳定、容错和可扩展的云端流计算服务能力,接入交易、点击、搜索等各种实时数据源以构建实时数据仓库,为数据化运营、实时ETL(Extract-Transform-Load,抽取转换装载)、个性化推荐、流数据挖掘等各种实时数据分析和应用提供秒级甚至毫秒级的流计算服务。
目前,传统流计算ETL开发过程包括以下步骤:
S101,用户在线下环境通过类型为文本编辑器的工具开发流计算SQL语句,并在本地调试开发的SQL语句;
S102,用户通过RPM软件包管理器进行打包处理。
S103,用户安装RPM软件包管理器(RPM Package Manager)至生产的预发机器,并修改SQL语句中的数据源表和结果表的配置,通过使用线上真实数据源表运行流计算任务比对结果表的产出。
S104,将RPM软件包管理器安装至生产环境,在修改SQL语句中的数据源表和结果表的配置后运行此任务。
结合上述流程以及现有的开发经验,本申请的发明人在实现本申请的过程中发现,现有的流计算ETL开发中开发和生产环境在网络上是物理隔离的,导致开发环节无法模拟真实的数据源。某一段执行代码在开发、调试通过后,开发人员还需要在打包发布前修改源头表和结果表的配置信息。如果忘记对这些配置信息进行修改,就会造成生产故障。
由此可见,现有的开发和生产的流计算数据源无法共享,导致开发环境不能完全模拟生产数据,并且开发和生产的代码无法统一,用户需要在生产环境修改部分配置时非常容易出错。因此,如何提高现有的流计算ETL开发过程的效率,节省人力以及避免由于人工失误带来的损失,成为本领域技术人员亟待解决的技术问题。
发明内容
本申请提供了一种执行代码生成方法,用以提高现有的执行代码在不同执行环境下的处理效率,减少人力消耗以及避免人工失误带来的损失。该方法包括:
将原始代码拆分为输入表语句、输出表语句以及数据转换逻辑语句;
确定所述输入表语句中的变量值,以及与当前的执行环境对应的替换值;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510889462.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:包装袋(jg‑20)
- 下一篇:包装袋(蟠龙鱼卷2.5kg)





