[发明专利]一种数据处理方法及装置

说明书

本发明实施例提供一种数据处理方法及装置。所述方法包括：获取源数据库的第一数据以及目标数据库的第二数据；根据所述第一数据和所述第二数据按照预设数据处理模型获取第三数据；所述预设数据处理模型包括多个数据处理逻辑算法；将所述第三数据加载至所述目标数据库。所述装置用于执行上述方法。本发明提供的方法及装置提高了数据处理效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着信息化时代的到来，信息已经成为现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统，用来记录事务处理的各种相关数据，因此，对于数据的整合处理方法的研究也越来越受到人们的关注。

据统计，数据量每2～3年时间就会成倍增长，数据仓库技术(Extract-Transform-Load，ETL)已经成为了企业进行数据处理的重要技术手段之一，ETL包括“抽取(Extract)”、“转换(Transform)”、“装载(Load)”，其中抽取是指将数据从各种数据库中读取出来；转换是指按照预先设计好的规则将抽取得数据进行转换，使本来异构的数据格式能统一起来；装载是指将经过转换之后的数据按计划增量或全部导入到数据仓库中。现有技术条件在，在通过ETL进行数据处理时，往往需要根据数据处理需求人工开发数据处理代码(包括定义源数据库和目标数据库、组件内部定义、组件组合、参数配置、关键选项定义等)，这样不仅开发周期长，需要投入人力大，尤其是在面对现在以大数据为核心的数据库时工作量会大大增加；而且人工开发数据处理代码的过程中涉及多人团队共同参与，开发思维实现各不相同，人为开发代码容易遗漏等问题，同时现有的ETL技术缺少完善的数据稽核功能，无法保证数据处理质量。综上所述，现有技术条件下的数据处理方法大大影响了数据处理效率。

因此，提出一种方法来提高数据处理效率是目前业界亟待解决的重要课题。

发明内容

针对现有技术中的缺陷，本发明实施例提供一种数据处理方法及装置。

一方面，本发明实施例提供一种数据处理方法，包括：

获取源数据库的第一数据以及目标数据库的第二数据；

根据所述第一数据和所述第二数据按照预设数据处理模型获取第三数据；所述预设数据处理模型包括多个数据处理逻辑算法；

将所述第三数据加载至所述目标数据库。

另一方面，本发明实施例提供一种数据处理装置，包括：

获取单元，用于获取源数据库的第一数据以及目标数据库的第二数据；

处理单元，用于根据所述第一数据和所述第二数据按照预设数据处理模型获取第三数据；所述预设数据处理模型包括多个数据处理逻辑算法；

加载单元，用于将所述第三数据加载至所述目标数据库。

又一方面，本发明实施例提供一种电子设备，包括处理器、存储器和总线，其中：

所述处理器，所述存储器通过总线完成相互间的通信；

所述处理器可以调用存储器中的计算机程序，以执行上述方法的步骤。

再一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明实施例提供的数据处理方法及装置，通过获取源数据库的第一数据以及目标数据库的第二数据，并根据所述第一数据和所述第二数据按照预设数据处理模型获取第三数据，所述预设数据处理模型包括多个数据处理逻辑算法，再将所述第三数据加载至所述目标数据库，提高了数据处理效率。

附图说明