[发明专利]非结构化数据的同步方法及系统

说明书

本发明提供了一种非结构化数据的同步方法及系统，其中方法包括：从非结构化数据列表获取一条非结构化数据；依据非结构化数据的数据量匹配所述非结构化数据的分片数量，构建与分片数量一致的数据记录；其中，每条数据记录包含的数据内容小于预设数据量；存储所述非结构化数据的数据记录至数据库服务器，以便基于所述非结构化数据的数据记录对所述非结构化数据执行同步操作。本发明使得一条非结构化数据对应一条或多条数据记录，这样可以使得每条数据记录包含的数据内容较小，从而达到不受SQL逻辑强隔离装置的驱动程序限制和数据库服务器的字段限制的目的。

技术领域

本发明涉及网络技术领域，尤其涉及非结构化数据的同步方法及系统。

背景技术

为了保护网络安全，通常大型网络架构分为内网和外网两个独立地物理网络。对于一个应用系统而言，可以将内部服务部署在内网(也即部署于内网应用服务器)，以便内部用户通过内网访问、保证安全性；将公众服务部署在外网(也即部署于外网应用服务器)，以便公众用户通过外网访问、保证可用性。

为了保护内网安全性，外网和内网之间通过SQL逻辑强隔离装置进行隔离。SQL逻辑强隔离装置仅允许内网和外网之间通过数据库SQL操作进行通信，不允许其他方式穿透隔离装置，从而保证内网安全性。

在应用系统运行过程中会产生结构化数据和非结构化数据，非结构化数据包括图片、小视频、附件等。通常情况下，内网将内网用户上传的非结构化数据存储于内网文件服务器中，同样的，外网将外网用户上传的非结构化数据存储于外网文件服务器中。

在一些应用场景下，内网应用服务器需要使用外网的非结构化数据，外网应用服务器需要使用内网的非结构化数据。不过在SQL逻辑强隔离装置的隔离下，内网应用服务器无法直接访问外网文件服务器，同样，外网应用服务器无法直接访问内网文件服务器。因此应用系统还具有同步功能，以用于同步内网和外网的非结构化数据。

在目前应用系统的同步功能中，为了保证稳定性通常会限制非结构化数据的大小；在不限制非结构化数据大小情况下同步功能的稳定性较差。因此，目前应用系统的同步功能有待改善。

发明内容

发明人在研究过程中发现，应用系统的同步功能包括两个过程：

第一过程：内网应用服务器构建非结构化数据对应的数据记录，一条非结构化数据对应一条数据记录，并上传各个数据记录到数据库服务器。外网应用服务器通过SQL逻辑强隔离装置到数据库服务器中提取数据记录，并存储到外网文件服务器。

第二过程：外网应用服务器建非结构化数据对应的数据记录，一条非结构化数据对应一条数据记录，并通过SQL逻辑强隔离装置上传各个数据记录到数据库服务器。内网应用服务器到数据库服务器中提取数据记录，并存储到内网文件服务器。

在第一过程和第二过程中，每条数据记录包括二进制大对象字段(BLOB字段)，在一个BLOB字段中存储有一条非结构化数据的整体数据内容。由于非结构化数据的数据量通常较大，对应的数据记录的数据量也较大。

由于在同步功能中内网和外网之间的同步操作需要经过SQL逻辑强隔离装置，且，数据记录需存储于数据库服务器中，因此，SQL逻辑强隔离装置的驱动程序限制和数据库服务器的字段限制对同步功能具有一定影响。

通常情况下，在应用系统的同步功能中，当一条数据记录中非结构化数据的数据量大于20M，同步功能很大程度会出现不稳定情况，即可能出现外网无法从内网读取数据记录的情况，或者，外网无法向内网写入数据记录的情况。

因此目前应用系统中，内网和外网之间的同步功能会限制非结构化数据的大小，这导致同步功能的适用范围具有局限性；在不限制非结构化数据的大小的情况下，同步功能的稳定性较差。

鉴于此，本发明提供非结构化数据的同步方法及系统，可以在不限制非结构化数据的大小的情况下，依然保证同步功能的稳定性。