[发明专利]数据同步方法、装置及计算机存储介质

权利要求书

1.一种数据同步方法，其特征在于，包括：

根据待同步关系型数据和待同步文件数据之间的对应关系、源端信息和目的端信息生成ETL配置文件；

基于所述ETL配置文件，从源端读取所述待同步关系型数据，并根据预构建的关系型数据和文件数据间的数据关联信息，将读取的所述待同步文件数据写入至目的端的文件存储区域；

基于所述数据关联信息，在所述待同步关系型数据中增加标识所述待同步文件数据的关键信息；

在检测到所述待同步文件数据完成写入操作的同时，将所述待同步关系型数据写入至所述目的端的关系型数据存储区域；在查找得到所述待同步关系型数据之后，通过其携带的关键信息很快定位相应的文件数据。

2.根据权利要求1所述的数据同步方法，其特征在于，所述在检测到所述待同步文件数据完成写入操作的同时，将所述待同步关系型数据写入至所述目的端的关系型数据存储区域之后，还包括：

预先授予用户接口访问权限；

当接收到通过关系型数据接口发送的数据访问指令，在验证用户具有接口访问权限之后，从所述关系型数据存储区域读取待访问关系型数据，并将所述待访问关系型数据及相对应文件数据的目标关键信息反馈给用户端；

通过文件接口发送携带所述目标关键信息的文件获取指令，根据所述目标关键信息从所述文件存储区域中读取待访问文件数据；

将所述待访问文件数据反馈给所述用户端。

3.根据权利要求1所述的数据同步方法，其特征在于，所述根据预构建的关系型数据和文件数据间的数据关联信息，将读取的所述待同步文件数据写入至目的端的文件存储区域，包括：

根据所述源端的业务类型生成待访问关系型数据对应的所述待同步文件数据的文件路径；

生成所述待同步文件数据的对象id；

根据所述文件路径读取所述待同步文件数据，并获取所述待同步文件数据的占用容量值和文件输入流；

使用所述对象id将所述文件输入流写入至所述文件存储区域中，所述文件存储区域为对象存储。

4.根据权利要求3所述的数据同步方法，其特征在于，所述待同步关系型数据和所述待同步文件数据之间的对应关系为一对一或一对多，所述将所述待同步关系型数据写入至所述目的端的关系型数据存储区域，包括：

所述待同步文件数据完成写入操作，输出对象存储数据桶和所述对象id；

获取所述ETL配置文件中的数据同步时间；

基于所述ETL配置文件的字段映射关系，将所述数据同步时间、所述对象存储数据桶、所述对象id和所述待同步关系型数据转换为输出表的格式，同时写入所述关系型数据存储区域。

5.根据权利要求4所述的数据同步方法，其特征在于，所述待同步关系型数据和所述待同步文件数据之间的对应关系为多对一或多对多，所述在检测到所述待同步文件数据完成写入操作的同时，将所述待同步关系型数据写入至所述目的端的关系型数据存储区域，包括：

利用预先构建的记录集连接组件检测所述待同步文件数据是否完成写入操作；

若所述待同步文件数据完成写入操作，将所述待同步文件数据和所述待同步关系型数据同时输入至所述记录集连接组件中；

所述记录集连接组件对所述待同步文件数据和所述待同步关系型数据进行连接处理，以将所述对象存储数据桶和所述对象id与所述待同步关系型数据一起输出；

获取所述ETL配置文件中的数据同步时间；

基于所述ETL配置文件的字段映射关系，将所述数据同步时间、所述对象存储数据桶、所述对象id和所述待同步关系型数据转换为输出表的格式，同时写入所述关系型数据存储区域。