[发明专利]一种json数据快速同步及控制的方法及系统装置

说明书

本发明公开了一种json数据快速同步及控制的方法及系统装置，其所述方法为配置文件编辑模块获取同步数据的同步需求文件，创建配置文件；配置文件解析模块读取所述配置文件，解析识别每个同步数据的json数据源与唯一的目标数据库，并建立数据库连接；json数据读取模块获取解析的所述json数据源读取json数据，按照配置中的数据字段映射关系生成批量同步的SQL语句；关系型数据库写入模块根据所述数据库连接，批量写入json数据至目标数据库。本发明能够灵活快速地编辑、修改配置文件，并根据配置文件，自动进行数据同步，控制同步过程，记录同步日志、监控同步进度与统计同步结果。本发明方便灵活、快速高效的将json数据同步到关系型数据库中，大大提高开发效率。

技术领域

本发明涉及计算机程序开发领域，特别涉及一种json格式的数据同步到关系型数据库的数据同步方法及系统。

背景技术

json是一种轻量级的数据格式，它基于ECMAScript的一个子集，其灵活的数据组织方式备受开发人员青睐，因此在程序开发中被广泛使用。

关系型数据库存储数据的特点通常是一个数据库包含若干个数据表，每个数据表包含若干个数据字段，每个字段表示当前数据实体的一个属性。

开发过程中，经常会遇到需要将json数据同步到关系型数据库当中的时候。每次做这种开发，都需要针对实际的json数据形式单独编写同步过程的代码，而如果有多个类似的数据同步，就需要分别编写，这极大的增加了代码冗余，并降低了开发效率。因此，有必要针对这一常见开发场景提出一种通用快捷高效的方案，以提高开发效率。

发明内容

为解决背景技术中所述的重复编码、不通用及低效率的问题，本发明提供了一种json数据快速同步及控制的方法，能够快速高效的将json数据同步到关系型数据库中。其具体技术方案如下：

第一方面：一种json数据快速同步及控制的方法，所述方法包括：

配置文件编辑模块获取同步数据的同步需求文件，创建配置文件；

配置文件解析模块读取所述配置文件，解析识别每个同步数据的json数据源与唯一的目标数据库，并建立数据库连接；

json数据读取模块获取解析的所述json数据源读取json数据，按照配置中的数据字段映射关系生成批量同步的SQL语句；

关系型数据库写入模块根据所述数据库连接，批量写入json数据至目标数据库；

数据同步过程控制模块对上述数据同步方法过程进行控制。

结合第一方面，在第一方面可能的实现方式中的第一种情况为，所述json数据为字符型的数据，所述json数据源包含并不限于.txt文件、.json文件、.js文件。

结合第一方面的第一种情况，在第一方面可能的实现方式中的第二种情况为，所述配置文件包含json数据源文件信息、目标数据库信息和字段映射关系。

结合第一方面的第二种情况，在第一方面可能的实现方式中的第三种情况为，所述json数据源文件包含的json数据格式为数组形式，并且数组的每个元素为一个json对象，每个json对象包含相同的数据属性。

结合第一方面的第三种情况，在第一方面可能的实现方式中的第四种情况为，所述目标数据库为关系型数据库，数据存储在每个数据表中，数据表依托于数据库，数据表包含数据行与列，数据列即字段，关系型数据包含但不限于Oracle、MySql、SQL Server、MariaDB。

结合第一方面的第四种情况，在第一方面可能的实现方式中的第五种情况为，还包括日志记录与统计模块实时记录同步过程中的参数、指标。

第二方面，一种json数据快速同步及控制的系统，所述系统包括：