[发明专利]一种智能优化的数据类型同步融合系统

说明书

本发明涉及一种智能优化的数据类型同步融合系统，属于数据融合领域，包括数据适配器，用于采集远端目的端表字段类型以及相关信息，并在最后按操作逻辑，向目的端传输执行语句；类型天梯转义模块，包含各数据库间的类型兼容性对比表，对类型进行分层；对源端信息进行信息转换，并传递新的参数集给数据元素分析模块；数据元素分析模块，对数据进行分析，对数据类型的多维度信息进行判断：是否要对目的端字段规范进行重定义，并传递参数进入数据定义语言编译模块；数据定义语言编译模块，包含一套配置文件，当目的端结构需要被调整时，使用相关参数及数据定义语言配置文件，自动生成对应目的端表和对应操作的脚本语言，并在目的端执行。

技术领域

本发明属于数据融合领域，涉及一种智能优化的数据类型同步融合系统。

背景技术

在集团化医院的数据中心的建设过程中，存在将多源头数据汇聚到统一存储内，进行数据分析利用的需求。在各机构内，统一生产系统由于业务要求，发生改动，致使同一生产系统原本一致的表结构出现了差异，例如调整了浮点型字段的精度，修改了字符型字段的长度等。这些差异，造成数据中心在融合数据时，经常发生，因新纳入数据源，与现有存储数据类型不兼容，造成同步失败和数据死锁；传统的处理模式，一种是在目的端创建表时，人为调整数据类型或尽可能扩大数据类型的长度精度等属性，从而尽可能规避错误发生。但是这种方式，无法彻底避免隐患，当出现不兼容的情况时，还是要等到程序报错或捕获异常，再去人工处理；第二种是不考虑业务源字段类型，统一把目的端表结构的字段，处理成高兼容性的类型，例如长文本类型或长字符串类型；这种处理方式，会消耗存储，且多数时候，将降低数据的查询性能。

发明内容

有鉴于此，本发明的目的在于提供一种智能优化的数据类型同步融合系统，通过对源和目的端的数据类型信息，进行自动化的兼容性分析，并进行必要调整，从而保证源端数据对目的端的同步始终能成功。

为达到上述目的，本发明提供如下技术方案：

一种智能优化的数据类型同步融合系统，包括：数据适配器，类型天梯对比表，数据逻辑分析模块，数据定义语言编译模块；

所述数据适配器，用于采集远端目的端表字段类型以及相关信息，并在最后按操作逻辑向目的端传输执行语句；

所述类型天梯转义模块，包含一个各数据库间的类型兼容性对比表，依据兼容性高低对类型进行分层；对传入的源端信息进行信息转换，并传递包含转移后源端字段类型信息的新的参数集进入数据元素分析模块；

所述数据元素分析模块，对从类型天梯转义模块传入的数据进行分析，对数据类型的多维度信息进行判断：是否要对目的端字段规范进行重定义，并传递参数进入数据定义语言编译模块；

所述数据定义语言编译模块，包含一套记录了多种数据库类型，对库表结构定义进行操作的语句的配置文件，当目的端结构需要被调整时，使用相关参数及数据定义语言配置文件，自动生成对应目的端表和对应操作的脚本语言，并在目的端执行。

进一步，当数据同步任务进行到数据类型同步兼容时，通过所述数据适配器拉取数据流中的必要参数，组装成查询语句，向源端和目的端发出查询申请，获取数据流对应的源端和目的端的表结构信息，为数据同步任务的后续步骤做准备。

进一步，所述类型天梯转义模块按照源端表字段的类型，提取出目的端相应字段类型，为后续对比做准备，提取步骤如下：

1)从天梯表文件中找到源端数据库的读分页，从中找到相应字段类型对应的层级代码LEVEL；

2)从天梯表文件中找到目的端数据库的写分页，从中找到相应字段类型对应层级的目的端字段类型；

3)将提取到的信息进行封包操作，得到参数包。