[发明专利]一种基于关系-数据分离的机构-人员数据同步方法

说明书

本发明公开了一种基于关系‑数据分离的机构‑人员数据同步方法，属于信息数字化处理技术领域。首先数据发送方将需要发送的数据分别生成包括组织机构关系数据包、组织机构实体数据包和人员实体数据包在内的待发送数据包，并将待发送数据包发送到数据接收方，数据接收方接收并解析所述的待发送数据包，并将解析后的数据分别入库存储。该方法将需要进行同步的数据中的关系‑数据进行分离，可保证在数据发生剧烈变化时，仍能较好的进行数据同步，且能够有效减少需要处理的数据量，提高数据同步的效率。该方法尤其适用于需要同步大量组件机构‑人员数据的场合。

技术领域

本发明涉及信息数字化处理技术领域，具体涉及一种基于关系-数据分离的机构-人员数据同步方法，特别适用于需要同步大量组件机构-人员数据的场合。

背景技术

在分布式系统中，子系统间的通讯是非常重要的环节。在最简单的企业级运用中，可以用共享数据库、在局域网内通过共享磁盘文件等方式进行数据交换。在规模更大、更复杂的互联网级分布式系统中，子系统间的通讯方式往往通过服务、消息的方式进行。在服务调用、消息传递的过程中，总是伴随数据的传递、同步，这些服务调用、消息及其中的数据传递从简单到复杂可粗略地分为3类：

1.每个子系统暴露出WebService、原始的Http等服务，其他子系统直接调用这些服务。在这种情况下，通常不区分服务调用与消息/数据的传输，所有的分布式调用、数据传输都通过这样的接口进行。该方案最大的优点是可避免购买商业化消息中间件带来的成本,且系统设计简单，不依赖于第3方的通讯框架支撑，从而避免了第3方框架升级等造成的不兼容等问题。由于这些优点的存在，该方式在一些业务不复杂，小成本的简单分布式系统中得到了广泛的使用。此方案的缺点是当需要进行数据通讯时，需要自己处理数据的封装等问题。当数据量大到一定程度时，需要在运用程序中，发送端自己处理数据的切分、打包、压缩、编号；接收端处理数据的组包、缓冲、解压、校验等操作。

2.使用ESB（企业服务总线）/消息中间件的思想，借助一些消息总线、中间件等，每个子系统将自己的服务连接到总线或中间件上，由总线/中间件进行或简或繁的消息路由控制。在实际使用中，这些消息/中间件可能是软件开发商自己实现，更多地使用开源的，或商用的软件进行，如开源的ESB软件mule（一个以Java为核心的轻量级的消息框架和整合平台），商用的消息中间件BEA Tuxedo（消息中间件模块）、东方通Tong LINK/Q、中创InforBus/Q等等。由ESB软件进行服务接入、服务路由、消息转发，数据格式转换，数据处理流的配置等。由于ESB/消息中间件种类繁多，功能从简单到复杂差别巨大，这个类型的具体数据通讯方式也有区别很大。但从基本原理上来说，都是将类型1中对数据的压缩、断点续传、大数据切割、缓冲能力等的处理交给ESB/消息中间件软件。一般而言，成熟的、商业的消息中间件通常都有较好性能表现，例如可针对各种异常情况提供处理机制，在网络中断、异常关闭进程、操作系统崩溃等情况下，可以确保消息不丢失，故障恢复后消息能继续完成传输，能解决复杂网络下，异常状况导致的系统崩溃、数据丢失问题，提供内存消息池进行消息缓冲等，同时会提供较完善的日志功能。其缺点是：1）通常性能好的消息中间件都是需要收费的，对使用方而言，这是成本的增加；2）免费的ESB产品相对较多，但ESB的重点通常是解决服务的集成，顺带进行一些小数据的传输，在大数据的传输方面，通常不够理想。对很多中小型的互联网运用和软件开发商而言，选用免费的ESB产品，例如Mule、ApacheServiceMix、Open ESB等进行服务的集成，同时兼用做小规模的数据传输是一种常见而经济的方式。在这样的情况下，如果要进行大数据的传输，则类似于类型1，也需要自己进行数据的切割、组包、校验等操作。

3.在更复杂、大型的互联网运用中，可能需要将分布式服务与分布式消息管理分离，如有必要，还可考虑自己实现这样的通讯系统，完成自己个性化的需求。如淘宝自己实现了高性能服务框架HSF及消息中间件Nofity等。