[发明专利]一种自适应的数据同步系统、控制方法及应用

说明书

本发明属于大数据处理技术领域，公开了一种自适应的数据同步系统、控制方法及应用，包括：数据源层、读插件层、框架组件、数据层、写插件层、数据库、运行环境。数据源层包括：Mysql、MongoDB、Clickhouse等。框架组件包括：自适应线程调度、任务调度、系统设置、存储调度、UI界面。运行环境包括：阿里云主机、独立服务器、第三方虚拟主机。本发明设计了一个线程自动分配的调度器，根据当前CPU的核数来分配给数据同步的线程数。本发明可以充分利用CPU资源，在大量同步任务情况下，保证写入Hbase等数据库的总体速度与一个任务用所有线程的总体速度大致持平，解决了线程动态分配的问题。

技术领域

本发明属于大数据处理技术领域，尤其涉及一种自适应的数据同步系统、控制方法及应用。

背景技术

目前，在大数据平台中，将其他类型的数据同步到大数据数据库HBase中，当同步的线程数量很大的时候会出现线程争抢情况，因为线程频繁切换，争抢CPU资源，而且线程切换本身也需要时间和其他资源线程越多，这部分消耗就越大，留给线程运行的资源就越少。

通过上述分析，现有技术存在的问题及缺陷为：现有技术中当同步的线程数量很大的时候会出现线程争抢情况。

解决以上问题及缺陷的难度为：

1.如何根据物理机器抽象出性能配置

2.如何配置并且运行性能分配策略

3.如何根据性能分配策略自适应的运行相关任务，并且最大化的使用机器性能。

解决以上问题及缺陷的意义为：

1.更好的利用机器性能，减少数据同步任务的运行时间。

2.优化用户使用，可以透明的解决用户调用物理资源的问题。

发明内容

针对现有技术存在的问题，本发明提供了一种自适应的数据同步系统。

本发明是这样实现的，一种自适应的数据同步系统，所述自适应的数据同步系统包括：数据源层、读插件层、框架组件、数据层、写插件层、数据库、运行环境。数据源层：原始数据在的地方；读插件层：读取目标数据库需要的driver；框架组件：包含系统运行的所需要的模块，这些模块负责的功能完成整个系统运行；数据层：对数据的写入和读取做的一层抽象，可以定制化一些存储过程、数据换层等，进行一些自定义的操作；写插件层：写入目标数据库需要的driver；数据库层：写入到目标的数据库；运行环境；部署在什么物理机。

进一步，所述数据源层包括：Mysql、MongoDB、Clickhouse。

进一步，所述读插件层包括：MysqlReader、MongoDBReader、ClickhouseReader。

进一步，所述框架组件包括：自适应线程调度、任务调度、系统设置、存储调度、UI界面。

进一步，所述数据层包括：存储过程、数据缓存、自定义函数、事务、读写数据库。

进一步，所述写插件层包括：HbaseWriter、MysqlWriter、ClickhouseWriter。

进一步，所述数据库包括：Hbase、Mysql、Clickhouse。

进一步，所述运行环境包括：阿里云主机、独立服务器、第三方虚拟主机。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的自适应的数据同步系统。