[发明专利]一种基于多场景的数据交换方法及系统

权利要求书

1.一种基于多场景的数据交换系统，其特征包括：源连接层、数据过滤层、数据转换层和目标连接层，其中：

源连接层：负责连接外部系统，获取来自外部系统的数据；

每个数据转换通道都有一个从外部系统获取数据到数据交换系统的源连接层；

数据过滤层：负责过滤来自外部系统的源数据；通过在过滤器层配置不同的Ruler来对源连接层的数据进行过滤，提高系统效率；所述过滤包括对残缺数据、错误数据、重复数据等脏数据、废数据进行过滤，再将其集成到基础库；

数据转换层：负责进行数据转换工作，数据转换层可以对过滤后的数据做数据格式的转换，使来自源系统的数据满足目标系统的需要；数据转换包括词法和语法分析步骤，语言转换步骤，目标代码输出步骤，具体步骤如下：

词法和语法分析步骤具体为：对外部系统的源数据，进行词法分析和词法分析，同时从规则库中提取语法规则， 当源语言和目标语言有不同的常量文法时，常量被翻译，转换为在目标语言中可用的常量，比如 SQL Server 的变量是以@开头后面跟变量的名字，则直接使用变量的名字；

从语法规则库提取该项的语法规则，根据规则进行转换，得到一棵规则的语法树；

语言转换步骤：是一个增强的 LR 解析器，针对转换需求，对 LR解析器作出改进：解析过程中，生成增强的规范抽象语法树（AST），符合目标存储过程的语言规范；把有用的信息都保存在抽象语法树中，只产生与转换相关的表；

目标代码输出步骤：从增强的抽象语法树生成目标数据库存储过程；

从语法树的根节点出发，根据节点名找出生成规则，生成目标存储过程代码；

对接收的源数据的转换为SQL 数据库可识别的目标代码的过程具体如下：接收到的位置为：position:=KM_INSTR(address, ‘road’,1,1)+offset*5 （公式1）,

对其进行词法和语法分析，可将公式1中的词法分析成：position， KM_INSTR(address, ‘road’,1,1)，offset，5；在语言转换步骤，将上述词法转换成适合SQL数据库可识别的词法:position， CHARINDEX(address, ‘road’,1,1)，offset，5；在目标代码输出步骤，得到输出的目标代码为：

position:= CHARINDEX (address, ‘road’,1,1)+offset*5（公式2） ；

目标连接层：负责连接目标系统，将经过数据转换层的数据传输至目标系统，每个数据转换通道都有一个或多个目标系统；

系统可以连接多种异构外部系统，可以极大适应业务场景下的现实需求，同多种异构系统进行数据交换。

2.根据权利要求1所述的多场景数据交换系统，其特征在于：

所述源连接层支持多种数据库，包括MySQL、Oracle、SQLServer等，对应多个业务场景，选用不同的数据库来进行数据存储，不同的数据库配合使用能够更好完成各个业务需求，使得所开发的软件系统更加稳定，效率更高，性能更强，根据各类基本业务系统的数据库类型，访问各类数据库的接口，包括： SQLServer数据库接口；Oracle数据库接口； My SQL数据库接口；

在进行操作时，设置数据源及目标库，设置数据源和目标数据库的基本信息，包括：数据库类型、连接类型、数据库IP、数据库名称、端口、用户名、密码；然后，自适应匹配ETL工具，为数据库数据、日志文件、流数据等不同的数据源自适应的匹配Sqoop、Kettle、Flume、Kafka等ETL工具；使用各家数据库厂商都提供的丰富的自定义标准函数库和语法；为了支持不同的数据库，很多方法需要根据当前数据库特性重写实现方法，例如获取表字段的方法，不同的数据库都要分别实现。