[发明专利]数据同步方法、装置及计算机存储介质

说明书

本申请公开了一种数据同步方法、装置及计算机可读存储介质。其中，方法包括根据待同步关系型数据和待同步文件数据之间的对应关系、源端信息和目的端信息生成ETL配置文件；基于ETL配置文件从源端读取待同步关系型数据，并根据关系型数据和文件数据间的数据关联信息，将读取的待同步文件数据写入至目的端的文件存储区域；基于数据关联信息，在待同步关系型数据中增加标识待同步文件数据的关键信息；当检测到待同步文件数据完成写入操作，将待同步关系型数据写入至目的端的关系型数据存储区域，从而实现一次性同步关系型数据和文件数据，且使用者在访问数据时也无需了解原始业务系统中关系型数据和文件数据之间的关联关系。

技术领域

本申请涉及数据治理技术领域，特别是涉及一种数据同步方法、装置及计算机可读存储介质。

背景技术

随着大数据、云技术的快速发展，互联网数据呈现爆炸性增长，相应的，数据治理便成为信息化的基础工作。数据治理是技术与管理相结合的一套持续改善管理机制，贯穿在数据管理的整个过程中，通常包括了组织架构、政策制度、技术工具、数据标准、流程规范、监督及考核等方方面面，将其他几个数据管理职能贯穿、协同在一起，让企业的数据工作成为一个有机整体而不是各自为政。数据治理涉及的IT技术主题众多，包括元数据管理、主数据管理、数据质量、数据集成、数据共享、监控与报告等。

可以理解的是，不同业务系统之间的数据迁移，或者是将不同业务系统的数据迁移至数据中心或数据仓库，这都是不可避免的。而对于具体的某个业务来说，其同时具有文件数据和关系型数据，也即文件数据和关系型数据是相关联的。举例来说，对于图书馆借阅系统，用户信息如登录用户名和密码会存储在数据库中，用户头像是存储在文件系统中，用户名、密码、用户头像是相关联的一组登录图书馆借阅系统的数据。也就是说，对于这种业务系统，其在数据迁移过程中，是需要同时同步文件数据和关系型数据。

目前广泛应用在ETL(Extract-Transform-Load)过程中的工具Kettle(KDEExtraction Transportation Transformation and Loading Environment)，其自带的文件同步功能只能同步文件数据，不能同时同步关系型数据。只能将文件数据同步到作业运行的本地，不能将文件同步到远程服务器，更不能同步到远程对象存储中。此外，现有的数据集成厂商如华为、H3C只做平台不做业务，他们生产的数据集成工具只能单独同步关系型数据和文件数据。也不会解析业务建立关系型数据与文件数据关系。基于目前现状，在对数据进行同步过程中，相关技术通常是将关系型数据和文件数据进行单独同步，两个任务对应两个进程，即利用两个进程分别执行关系型数据和文件数据的同步任务。而可以理解的是，文件的数据量有时会远远的大于关系型数据，故二者同步使用时间相差较大，关系型数据同步完成时文件数据还未完成，极易造成新的关系式数据已经可以获取而相应文件数据却无法获取的现象，用户使用体验不好。而且在将数据同步到目的端之后，使用者还需要了解原业务系统的相关知识，才可以通过关系型数据找到相应的文件数据，不利于文件的高效共享。

发明内容

本申请提供了一种数据同步方法、装置及计算机可读存储介质，关系型数据和文件数据在同一时间段内完成，实现关系型数据和文件数据的同步，且使用者在访问数据时也无需了解原始业务系统中关系型数据和文件数据之间的关联关系。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种数据同步方法，包括：

根据待同步关系型数据和待同步文件数据之间的对应关系、源端信息和目的端信息生成ETL配置文件；

基于所述ETL配置文件，从源端读取所述待同步关系型数据，并根据预构建的关系型数据和文件数据间的数据关联信息，将读取的所述待同步文件数据写入至目的端的文件存储区域；

基于所述数据关联信息，在所述待同步关系型数据中增加标识所述待同步文件数据的关键信息；